(57)【特許請求の範囲】
【請求項１】
動画像から電子透かしを検出する電子透かし検出装置における電子透かし検出方法であって、
動画像入力手段において、フレーム画像を順次取得する動画像入力ステップと、
差分画像生成手段において、今回取得した前記フレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成ステップと、
電子透かし検出手段において、前記差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出ステップとを有し、
前記電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段で新たなフレーム画像を取得し直し、上記の各ステップを繰り返す、電子透かし検出方法であり、
前記動画像入力ステップは、前記フレーム画像と該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するステップを有し、
前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、今回のフレーム表示時刻と、以前に取得したフレーム画像のフレーム表示時刻の時間間隔から検出要否を判定する判定ステップを更に有し、
判定ステップにおいて検出不要と判定された場合は前記動画像入力手段において新たなフレーム画像を取得し直し、検出要と判定した場合は前記差分画像生成ステップ以降の処理を続行する、ことを特徴とする電子透かし検出方法。
【請求項２】
前記電子透かし検出ステップで得られた透かし情報からデータブロックＩＤとデータブロック情報を得て、検出透かし情報バッファの該データブロックＩＤの情報に検出したデータブロック情報を記録し、全てのデータブロックＩＤについて検出が完了した場合に電子透かし検出成功の旨を出力する、請求項１に記載の電子透かし検出方法。
【請求項３】
前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、フレームのキャプチャタイミングを設定するキャプチャタイミング制御ステップを有し、
前記動画像入力手段において、前記キャプチャタイミングに基づいてフレーム画像を順次取得する、請求項１または２に記載の電子透かし検出方法。
【請求項４】
前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、差分画像を得るためのフレーム間の時間間隔を表す差分タイミングを設定するステップを有し、
前記動画像入力手段において、前記フレーム画像と該フレーム表示時刻を順次取得し、前記差分画像生成手段において、今回取得したフレーム画像と、前記差分タイミングで指定される時間だけ以前に取得したフレーム画像の差分画像を生成する、
請求項１または２に記載の電子透かし検出方法。
【請求項５】
前記電子透かし検出ステップは、前記差分画像に埋め込まれている透かしパターンの位相を判定し、透かしパターンの位相が逆相の場合は、検出した透かし情報のビット反転を行って、電子透かしの検出状況を出力するステップを有する、請求項１乃至４のうちいずれか１項に記載の電子透かし検出方法。
【請求項６】
前記差分画像生成ステップにおいて前記差分画像を差分画像蓄積バッファに加算し、前記電子透かし検出ステップにおいて、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力する、請求項１乃至５のうちいずれか１項に記載の電子透かし検出方法。
【請求項７】
前記電子透かし検出方法は、前記差分画像に埋め込まれている透かしパターンの位相を判定するステップと、順次処理される差分画像の全てで当該位相が同相となるように差分画像を変更するステップを有し、これらのステップで得られた差分画像を用いて前記差分画像生成ステップ及び前記電子透かし検出ステップを実行する、請求項６に記載の電子透かし検出方法。
【請求項８】
前記電子透かし検出ステップは、検出の際に算出される相関値を検出処理の度に記憶手段に蓄積し、蓄積された相関値を用いて検出成功か否かを判定するステップを有する、請求項１乃至７のうちいずれか１項に記載の電子透かし検出方法。
【請求項９】
前記電子透かし検出ステップは、検出の際に算出される相関値の絶対値を検出処理の度に記憶手段に蓄積し、蓄積された該相関値の絶対値を用いて検出成功か否かを判定するステップを有する、請求項１乃至７のうちいずれか１項に記載の電子透かし検出方法。
【請求項１０】
埋め込み時に用いた透かしパターン切り替え情報と、フレーム画像取得時に得られるフレーム表示時刻の関係から、差分画像中の透かしパターンの位相を判定するステップを有する、請求項５または７に記載の電子透かし検出方法。
【請求項１１】
前記差分画像中に埋め込まれた透かしパターンで表現された透かし情報中の予め定めたビット位置のビット値を検出し、該ビット値に基づいて該差分画像中の透かしパターンの位相を判定するステップを有する、請求項５または７に記載の電子透かし検出方法。
【請求項１２】
位相判定用透かしを検出して前記差分画像中の透かしパターンの位相を判定するステップを有する、請求項５または７に記載の電子透かし検出方法。
【請求項１３】
透かし検出処理によって算出される相関値の正負の極性を利用して前記差分画像中の透かしパターンの位相を判定するステップを有する、請求項５または７に記載の電子透かし検出方法。
【請求項１４】
前記差分画像からの電子透かし検出を行って透かし情報であるデータブロック情報及びデータブロックＩＤを検出し、データブロックＩＤ検出時の相関値の正負の極性を利用して前記差分画像に埋め込まれている透かしパターンの位相を判定するステップを有する、請求項５または７に記載の電子透かし検出方法。
【請求項１５】
前記差分画像生成ステップは、
今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し、さらに、該差分画像中の特定成分から位相値と振幅値を求め、該位相値が所与の複数のグループのいずれに属するかを判定し、その判定結果と該振幅値を元に該差分画像を修正して出力するステップを有する、請求項１乃至１４のうちいずれか１項に記載の電子透かし検出方法。
【請求項１６】
前記差分画像生成ステップは、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像（Ａ）を生成し、該今回取得したフレーム画像を該画像記憶手段に格納するステップを有し、
前記電子透かし検出方法は、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段から読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づいて差分画像（Ｂ）を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する位相差分計測ステップを有し、
前記電子透かし検出ステップは、前記差分画像（Ｂ）からの電子透かし検出を行って、電子透かしの検出状況を出力するステップを有する、請求項１乃至１４のうちいずれか１項に記載の電子透かし検出方法。
【請求項１７】
前記位相差分計測ステップは、
前記差分画像（Ａ）から位相パターンを生成する際に、位相値と共に振幅値を求めて位相パターンの要素値とするステップと、
前記今回取得した位相パターンと前記以前に取得した位相パターンの位相差を計測し、位相差に基づいて符号を決定するステップと、
さらに前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値と、符号に基づいて前記差分画像（Ｂ）を生成するステップと、
を有する請求項１６記載の電子透かし検出方法。
【請求項１８】
前記位相差分計測ステップは、
前記差分画像（Ａ）から前記位相パターンを生成する際に、前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値に対して単調増加する値を振幅とし、前記符号と組み合わせて得られる値に基づいて前記差分画像（Ｂ）を生成するステップを有する、請求項１７記載の電子透かし検出方法。
【請求項１９】
前記差分画像生成ステップにおける前記差分画像中の特定成分が複数の成分である、請求項１５記載の電子透かし検出方法。
【請求項２０】
前記位相差分計測ステップにおいて、前記差分画像（Ａ）から位相パターンを得る際に、該差分画像（Ａ）中の複数の成分から得られる座標系における位相及び振幅を利用する、請求項１６乃至１８のうちいずれか１項に記載の電子透かし検出方法。
【請求項２１】
前記差分画像中の特定成分がCb成分及びCr成分である、請求項１９または２０記載の電子透かし検出方法。
【請求項２２】
前記電子透かし検出方法は、前記差分画像（Ｂ）を差分画像蓄積バッファに加算するステップを更に有し、
電子透かし検出ステップは、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力するステップを有する、請求項１６乃至２１のうちいずれか1項に記載の電子透かし検出方法。
【請求項２３】
前記電子透かし検出方法は、順次取得される前記フレーム画像に対し、今回のフレーム画像中の検出対象領域を抽出し、歪みを補正し、サイズを正規化して検出対象領域画像を生成するステップを有し、
前記差分画像生成ステップにおいて、今回取得した検出対象領域画像と、以前に取得した検出対象領域画像の差分画像を生成する、請求項１乃至２２のうちいずれか１項に記載の電子透かし検出方法。
【請求項２４】
前記電子透かし検出方法は、順次取得される前記差分画像から検出対象領域を抽出して検出対象領域画像を生成するステップを有し、
前記電子透かし検出ステップにおいて、前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する、請求項１乃至２２のうちいずれか１項に記載の電子透かし検出方法。
【請求項２５】
前記フレーム画像を順次取得した後に、前記フレーム画像から特徴領域を抽出して歪み補正及びサイズ正規化を行って特徴領域画像を生成する特徴領域抽出ステップと、
今回取得した特徴領域画像と、以前に取得した特徴領域画像の差分画像を生成する前記差分画像生成ステップと、
前記差分画像から検出対象領域を抽出して検出対象領域画像を生成する検出対象領域抽出ステップと、
前記検出対象領域からの電子透かし検出を行う前記電子透かし検出ステップと、
を有する請求項１乃至２２のうちいずれか１項に記載の電子透かし検出方法。
【請求項２６】
前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、該差分画像の画素値を絶対値化して検出対象領域を探索するステップを有する、請求項２４または２５に記載の電子透かし検出方法。
【請求項２７】
前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、埋め込み時の基本透かしパターンに付加された位置合わせパターンを用いて検出対象領域を探索するステップを有する、請求項２４または２６に記載の電子透かし検出方法。
【請求項２８】
前記検出対象領域抽出ステップは、過去の電子透かし検出試行で検出状況が良好であったときの検出対象領域の近傍の領域に限定した探索を行って、今回の検出対象領域抽出処理を行うステップを有する、請求項２４乃至２７のうちいずれか１項に記載の電子透かし検出方法。
【請求項２９】
前記検出対象領域抽出ステップは、前記位置合わせパターンを用いて、前記差分画像中の透かしパターンの位相を判定するステップを有する、請求項２７に記載の電子透かし検出方法。
【請求項３０】
前記検出対象領域抽出ステップは、前記差分画像を記憶手段に加算蓄積し、蓄積した該差分画像中から検出対象領域を探索し、抽出するステップを有する、請求項２４乃至２９のうちいずれか１項に記載の電子透かし検出方法。
【請求項３１】
前記検出対象領域抽出ステップは、前記差分画像を前記記憶手段に加算蓄積する際に、該差分画像中の透かしパターンの位相を揃えて、加算蓄積を行うステップを有する、請求項３０に記載の電子透かし検出方法。
【請求項３２】
動画像から電子透かしを検出する電子透かし検出装置であって、
フレーム画像を順次取得する動画像入力手段と、
今回取得した前記フレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段と、
前記差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段と、
前記電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段での処理、前記差分画像生成手段での処理、及び電子透かし検出手段での処理を繰り返す手段と、を有する電子透かし検出装置であり、
前記動画像入力手段は、前記フレーム画像と該フレーム画像の表示時刻であるフレーム表示時刻を順次取得し、
前記電子透かし検出装置は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、今回のフレーム表示時刻と、以前に取得したフレーム画像のフレーム表示時刻の時間間隔から検出要否を判定する検出要否判定手段を更に有し、
前記検出要否判定手段において検出不要と判定された場合は前記動画像入力手段において新たなフレーム画像を取得し直し、検出要と判定した場合は前記差分画像生成手段の処理以降の処理を続行する、ことを特徴とする電子透かし検出装置。
【請求項３３】
前記電子透かし検出手段で得られた透かし情報からデータブロックＩＤとデータブロック情報を得て、検出透かし情報バッファの該データブロックＩＤの情報に検出したデータブロック情報を記録し、全てのデータブロックＩＤについて検出が完了した場合に電子透かし検出成功の旨を出力する、請求項３２に記載の電子透かし検出装置。
【請求項３４】
前記電子透かし検出装置は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、フレームのキャプチャタイミングを設定するキャプチャタイミング制御手段を有し、
前記動画像入力手段は、前記キャプチャタイミングに基づいてフレーム画像を順次取得する、請求項３２または３３に記載の電子透かし検出装置。
【請求項３５】
前記電子透かし検出装置は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、差分画像を得るためのフレーム間の時間間隔を表す差分タイミングを設定する手段を有し、
前記動画像入力手段は、前記フレーム画像と該フレーム表示時刻を順次取得し、前記差分画像生成手段は、今回取得したフレーム画像と、前記差分タイミングで指定される時間だけ以前に取得したフレーム画像の差分画像を生成する、請求項３２または３３に記載の電子透かし検出装置。
【請求項３６】
前記電子透かし検出装置は、前記差分画像に埋め込まれている透かしパターンの位相を判定する差分位相判定手段を有し、
前記差分位相判定手段による判定の結果、透かしパターンの位相が逆相の場合は、検出した透かし情報のビット反転を行って、電子透かしの検出状況を出力する、請求項３２乃至３５のうちいずれか１項に記載の電子透かし検出装置。
【請求項３７】
前記差分画像生成手段は、前記差分画像を差分画像蓄積バッファに加算し、前記電子透かし検出手段は、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力する、請求項３２乃至３６のうちいずれか１項に記載の電子透かし検出装置。
【請求項３８】
前記差分画像に埋め込まれている透かしパターンの位相を判定し、順次処理される差分画像の全てで当該位相が同相となるように差分画像を変更し、得られた差分画像を用いて前記差分画像生成手段での処理及び前記電子透かし検出手段での処理を実行する、請求項３７に記載の電子透かし検出装置。
【請求項３９】
前記電子透かし検出手段は、検出の際に算出される相関値を検出処理の度に記憶手段に蓄積し、蓄積された相関値を用いて検出成功か否かを判定する、請求項３２乃至３８のうちいずれか１項に記載の電子透かし検出装置。
【請求項４０】
前記電子透かし検出手段は、検出の際に算出される相関値の絶対値を検出処理の度に記憶手段に蓄積し、蓄積された該相関値の絶対値を用いて検出成功か否かを判定する、請求項３２乃至３８のうちいずれか１項に記載の電子透かし検出装置。
【請求項４１】
前記差分位相判定手段は、埋め込み時に用いた透かしパターン切り替え情報と、フレーム画像取得時に得られるフレーム表示時刻の関係から、差分画像中の透かしパターンの位相を判定する、請求項３６または３８に記載の電子透かし検出装置。
【請求項４２】
前記差分位相判定手段は、前記差分画像中に埋め込まれた透かしパターンで表現された透かし情報中の予め定めたビット位置のビット値を検出し、該ビット値に基づいて該差分画像中の透かしパターンの位相を判定する、請求項３６または３８に記載の電子透かし検出装置。
【請求項４３】
前記差分位相判定手段は、位相判定用透かしを検出して前記差分画像中の透かしパターンの位相を判定する、請求項３６または３８に記載の電子透かし検出装置。
【請求項４４】
前記差分位相判定手段は、透かし検出処理によって算出される相関値の正負の極性を利用して前記差分画像中の透かしパターンの位相を判定する、請求項３６または３８に記載の電子透かし検出装置。
【請求項４５】
前記差分位相判定手段は、前記差分画像からの電子透かし検出を行って透かし情報であるデータブロック情報及びデータブロックＩＤを検出し、データブロックＩＤ検出時の相関値の正負の極性を利用して前記差分画像に埋め込まれている透かしパターンの位相を判定する、請求項３６または３８に記載の電子透かし検出装置。
【請求項４６】
前記差分画像生成手段は、
今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し、さらに、該差分画像中の特定成分から位相値と振幅値を求め、該位相値が所与の複数のグループのいずれに属するかを判定し、その判定結果と該振幅値を元に該差分画像を修正して出力する、請求項３２乃至４５のうちいずれか１項に記載の電子透かし検出装置。
【請求項４７】
前記差分画像生成手段は、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像（Ａ）を生成し、該今回取得したフレーム画像を該画像記憶手段に格納し、
前記電子透かし検出装置は、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段から読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づいて差分画像（Ｂ）を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する位相差分計測手段を有し、
前記電子透かし検出手段は、前記差分画像（Ｂ）からの電子透かし検出を行って、電子透かしの検出状況を出力する、請求項３２乃至４５のうちいずれか１項に記載の電子透かし検出装置。
【請求項４８】
前記位相差分計測手段は、
前記差分画像（Ａ）から位相パターンを生成する際に、位相値と共に振幅値を求めて位相パターンの要素値とする手段と、
前記今回取得した位相パターンと前記以前に取得した位相パターンの位相差を計測し、位相差に基づいて符号を決定する手段と、
さらに前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値と、符号に基づいて前記差分画像（Ｂ）を生成する手段と、
を有する請求項４７記載の電子透かし検出装置。
【請求項４９】
前記位相差分計測手段は、
前記差分画像（Ａ）から前記位相パターンを生成する際に、前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値に対して単調増加する値を振幅とし、前記符号と組み合わせて得られる値に基づいて前記差分画像（Ｂ）を生成する、請求項４８記載の電子透かし検出装置。
【請求項５０】
前記差分画像生成手段における前記差分画像中の特定成分が複数の成分である、請求項４６記載の電子透かし検出装置。
【請求項５１】
前記位相差分計測手段は、前記差分画像（Ａ）から位相パターンを得る際に、該差分画像（Ａ）中の複数の成分から得られる座標系における位相及び振幅を利用する、請求項４７乃至４９のうちいずれか１項に記載の電子透かし検出装置。
【請求項５２】
前記差分画像中の特定成分がCb成分及びCr成分である、請求項５０または５１記載の電子透かし検出装置。
【請求項５３】
前記電子透かし検出装置は、前記差分画像（Ｂ）を差分画像蓄積バッファに加算する手段を更に有し、
前記電子透かし検出手段は、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力する、請求項４７乃至５２のうちいずれか1項に記載の電子透かし検出装置。
【請求項５４】
前記電子透かし検出装置は、順次取得される前記フレーム画像に対し、今回のフレーム画像中の検出対象領域を抽出し、歪みを補正し、サイズを正規化して検出対象領域画像を生成する検出対象領域抽出手段を有し、
前記差分画像生成手段は、今回取得した検出対象領域画像と、以前に取得した検出対象領域画像の差分画像を生成する、請求項３２乃至５３のうちいずれか１項に記載の電子透かし検出装置。
【請求項５５】
前記電子透かし検出装置は、順次取得される前記差分画像から検出対象領域を抽出して検出対象領域画像を生成する検出対象領域抽出手段を有し、
前記電子透かし検出手段は、前記検出対象領域画像からの電子透かし検出を行う、請求項３２乃至５３のうちいずれか１項に記載の電子透かし検出装置。
【請求項５６】
前記電子透かし検出装置は、前記フレーム画像を順次取得した後に、前記フレーム画像から特徴領域を抽出して歪み補正及びサイズ正規化を行って特徴領域画像を生成する特徴領域抽出手段を有し、
前記差分画像生成手段は、今回取得した特徴領域画像と、以前に取得した特徴領域画像の差分画像を生成し、
検出対象領域抽出手段は、前記差分画像から検出対象領域を抽出して検出対象領域画像を生成し、
前記電子透かし検出手段は、前記検出対象領域画像からの電子透かし検出を行う、請求項３２乃至５３のうちいずれか１項に記載の電子透かし検出装置。
【請求項５７】
前記検出対象領域抽出手段は、前記差分画像から前記検出対象領域を抽出する際に、該差分画像の画素値を絶対値化して検出対象領域を探索する、請求項５５または５６に記載の電子透かし検出装置。
【請求項５８】
前記検出対象領域抽出手段は、前記差分画像から前記検出対象領域を抽出する際に、埋め込み時の基本透かしパターンに付加された位置合わせパターンを用いて検出対象領域を探索する、請求項５５または５７に記載の電子透かし検出装置。
【請求項５９】
前記検出対象領域抽出手段は、過去の電子透かし検出試行で検出状況が良好であったときの検出対象領域の近傍の領域に限定した探索を行って、今回の検出対象領域抽出処理を行う、請求項５５乃至５８のうちいずれか１項に記載の電子透かし検出装置。
【請求項６０】
前記検出対象領域抽出手段は、前記位置合わせパターンを用いて、前記差分画像中の透かしパターンの位相を判定する、請求項５８に記載の電子透かし検出装置。
【請求項６１】
前記検出対象領域抽出手段は、前記差分画像を記憶手段に加算蓄積し、蓄積した該差分画像中から検出対象領域を探索し、抽出する、請求項５５乃至６０のうちいずれか１項に記載の電子透かし検出装置。
【請求項６２】
前記検出対象領域抽出手段は、前記差分画像を前記記憶手段に加算蓄積する際に、該差分画像中の透かしパターンの位相を揃えて、加算蓄積を行う、請求項６１に記載の電子透かし検出装置。
【請求項６３】
コンピュータを、動画像から電子透かしを検出する電子透かし検出装置として機能させる電子透かし検出プログラムであって、コンピュータを、
フレーム画像を順次取得する動画像入力手段、
今回取得した前記フレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段、
前記差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段、
前記電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段での処理、前記差分画像生成手段での処理、及び電子透かし検出手段での処理を繰り返す手段、として機能させる電子透かし検出プログラムであり、
前記動画像入力手段は、前記フレーム画像と該フレーム画像の表示時刻であるフレーム表示時刻を順次取得し、
前記電子透かし検出プログラムは、前記コンピュータを、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、今回のフレーム表示時刻と、以前に取得したフレーム画像のフレーム表示時刻の時間間隔から検出要否を判定する検出要否判定手段として更に機能させ、
前記検出要否判定手段において検出不要と判定された場合は前記動画像入力手段において新たなフレーム画像を取得し直し、検出要と判定した場合は前記差分画像生成手段の処理以降の処理を続行する、電子透かし検出プログラム。
【請求項６４】
請求項６３に記載の電子透かし検出プログラムを格納したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子透かし埋め込み技術及び電子透かし検出技術に関し、特に、映像コンテンツに、副情報を人に知覚されないように埋め込み電子透かし埋め込み技術、及びこの副情報を読み取る技術である電子透かし検出技術に関する。
【背景技術】
【０００２】
今日、電子透かし技術は、コンテンツの著作権保護・管理システムや、コンテンツ関連サービス提供システムなどに用いられている。
【０００３】
画像、映像、もしくは音声といったコンテンツの流通の際、コンテンツ識別・管理や著作権保護・管理、関連情報提供などの目的のため、コンテンツ内に知覚できないように別の情報を埋め込む電子透かし技術を用いる方法がある。
【０００４】
例えば、印刷物など静止画をカメラ入力し、入力画像から電子透かしを検出して関連情報を得るような利用の方法がある（例えば、非特許文献１参照）。
【０００５】
さらに、カメラ入力及び電子透かし検出をリアルタイムで連続的に行い、検出性能を向上させるという方法もある（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】中村、片山、宮地、山下、山室：「カメラ付き携帯電話機を用いたサービス仲介のための電子透かし検出方式」、情報科学技術フォーラムFIT2003, N-020, 2003年9月
【非特許文献２】中村、宮武、林、片山、山室：「カメラ入力画像からのリアルタイム電子透かし検出方式」、情報科学技術フォーラムFIT2004, J-036, 2004年9月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えばテレビ画面などの動画像をカメラ付携帯電話機などで撮影し、撮影した動画からリアルタイムに電子透かし検出処理を行うような方法がなかった。このような方法があれば、ＴＶで放送中の画面から関連する情報を取得することができ、動画コンテンツとリアルタイムに連携可能な様々な情報サービスを実現することができる。しかし、カメラ撮影に伴うＤ／Ａ変換やＡ／Ｄ変換などで生じるノイズに対して、十分な耐性を実現することが困難であるという問題がある。また、カメラ撮影時にキャプチャしたフレーム画像のどの部分が電子透かしの検出対象であるかを特定することが困難であるという問題もある。
【０００８】
本発明は、上記の点に鑑みなされたもので、従来存在しなかった、テレビなどの動画像をカメラで撮影し、撮影した動画からリアルタイムに電子透かし検出を行うことを可能とする技術を提供することを目的とする。さらに、キャプチャしたフレーム画像中のどの部分から電子透かしの検出を行えばよいかを特定して、様々な撮影角度や背景画像の条件下でも確実に電子透かし検出を行うことが可能な技術を提供することも目的とする。
【課題を解決するための手段】
【０００９】
上記の課題は、動画像から電子透かしを検出する電子透かし検出装置における電子透かし検出方法であって、
動画像入力手段において、フレーム画像を順次取得する動画像入力ステップと、
差分画像生成手段において、今回取得した前記フレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成ステップと、
電子透かし検出手段において、前記差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出ステップとを有し、
前記電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段で新たなフレーム画像を取得し直し、上記の各ステップを繰り返す、電子透かし検出方法であり、
前記動画像入力ステップは、前記フレーム画像と該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するステップを有し、
前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、今回のフレーム表示時刻と、以前に取得したフレーム画像のフレーム表示時刻の時間間隔から検出要否を判定する判定ステップを更に有し、
判定ステップにおいて検出不要と判定された場合は前記動画像入力手段において新たなフレーム画像を取得し直し、検出要と判定した場合は前記差分画像生成ステップ以降の処理を続行する、ことを特徴とする電子透かし検出方法によって解決することができる。
【００１０】
前記電子透かし検出方法において、前記電子透かし検出ステップで得られた透かし情報からデータブロックＩＤとデータブロック情報を得て、検出透かし情報バッファの該データブロックＩＤの情報に検出したデータブロック情報を記録し、全てのデータブロックＩＤについて検出が完了した場合に電子透かし検出成功の旨を出力する、ようにしてもよい。
【００１２】
また、前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、フレームのキャプチャタイミングを設定するキャプチャタイミング制御ステップを有し、
前記動画像入力手段において、前記キャプチャタイミングに基づいてフレーム画像を順次取得する、ようにしてもよい。
【００１３】
また、前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、差分画像を得るためのフレーム間の時間間隔を表す差分タイミングを設定するステップを有し、
前記動画像入力手段において、前記フレーム画像と該フレーム表示時刻を順次取得し、前記差分画像生成手段において、今回取得したフレーム画像と、前記差分タイミングで指定される時間だけ以前に取得したフレーム画像の差分画像を生成する、こととしてもよい。
【００１４】
また、前記電子透かし検出方法において、前記電子透かし検出ステップは、前記差分画像に埋め込まれている透かしパターンの位相を判定し、透かしパターンの位相が逆相の場合は、検出した透かし情報のビット反転を行って、電子透かしの検出状況を出力するステップを有する、こととしてもよい。
【００１５】
前記差分画像生成ステップにおいて前記差分画像を差分画像蓄積バッファに加算し、前記電子透かし検出ステップにおいて、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力する、ようにしてもよい。
【００１６】
また、前記電子透かし検出方法は、前記差分画像に埋め込まれている透かしパターンの位相を判定するステップと、順次処理される差分画像の全てで当該位相が同相となるように差分画像を変更するステップを有し、これらのステップで得られた差分画像を用いて前記差分画像生成ステップ及び前記電子透かし検出ステップを実行する、こととしてもよい。
【００１７】
前記電子透かし検出ステップは、検出の際に算出される相関値を検出処理の度に記憶手段に蓄積し、蓄積された相関値を用いて検出成功か否かを判定するステップを有する、こととしてもよい。
【００１８】
また、前記電子透かし検出ステップは、検出の際に算出される相関値の絶対値を検出処理の度に記憶手段に蓄積し、蓄積された該相関値の絶対値を用いて検出成功か否かを判定するステップを有する、こととしてもよい。
【００１９】
また、前記電子透かし検出方法において、埋め込み時に用いた透かしパターン切り替え情報と、フレーム画像取得時に得られるフレーム表示時刻の関係から、差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。
【００２０】
前記差分画像中に埋め込まれた透かしパターンで表現された透かし情報中の予め定めたビット位置のビット値を検出し、該ビット値に基づいて該差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。
【００２１】
また、前記電子透かし検出方法は、位相判定用透かしを検出して前記差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。
【００２２】
また、前記電子透かし検出方法は、透かし検出処理によって算出される相関値の正負の極性を利用して前記差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。
【００２３】
また、前記電子透かし検出方法は、前記差分画像からの電子透かし検出を行って透かし情報であるデータブロック情報及びデータブロックＩＤを検出し、データブロックＩＤ検出時の相関値の正負の極性を利用して前記差分画像に埋め込まれている透かしパターンの位相を判定するステップを有する、こととしてもよい。
【００２４】
前記差分画像生成ステップは、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し、さらに、該差分画像中の特定成分から位相値と振幅値を求め、該位相値が所与の複数のグループのいずれに属するかを判定し、その判定結果と該振幅値を元に該差分画像を修正して出力するステップを有する、こととしてもよい。
【００２５】
また、前記電子透かし検出方法において、前記差分画像生成ステップは、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像（Ａ）を生成し、該今回取得したフレーム画像を該画像記憶手段に格納するステップを有し、
前記電子透かし検出方法は、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段から読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づいて差分画像（Ｂ）を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する位相差分計測ステップを有し、
前記電子透かし検出ステップは、前記差分画像（Ｂ）からの電子透かし検出を行って、電子透かしの検出状況を出力するステップを有する、ようにしてもよい。
【００２６】
また、前記位相差分計測ステップは、
前記差分画像（Ａ）から位相パターンを生成する際に、位相値と共に振幅値を求めて位相パターンの要素値とするステップと、
前記今回取得した位相パターンと前記以前に取得した位相パターンの位相差を計測し、位相差に基づいて符号を決定するステップと、
さらに前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値と、符号に基づいて前記差分画像（Ｂ）を生成するステップと、を有することとしてもよい。
【００２７】
また、前記位相差分計測ステップは、
前記差分画像（Ａ）から前記位相パターンを生成する際に、前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値に対して単調増加する値を振幅とし、前記符号と組み合わせて得られる値に基づいて前記差分画像（Ｂ）を生成するステップを有する、ようにしてもよい。
【００２８】
また、前記電子透かし検出方法において、前記差分画像生成ステップにおける前記差分画像中の特定成分が複数の成分であることとしてもよい。
【００２９】
また、前記位相差分計測ステップにおいて、前記差分画像（Ａ）から位相パターンを得る際に、該差分画像（Ａ）中の複数の成分から得られる座標系における位相及び振幅を利用する、ようにしてもよい。
【００３０】
前記差分画像中の特定成分としてCb成分及びCr成分を使用することができる。
【００３１】
また、前記電子透かし検出方法は、前記差分画像（Ｂ）を差分画像蓄積バッファに加算するステップを更に有し、
電子透かし検出ステップは、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力するステップを有する、こととしてもよい。
【００３２】
また、前記電子透かし検出方法は、順次取得される前記フレーム画像に対し、今回のフレーム画像中の検出対象領域を抽出し、歪みを補正し、サイズを正規化して検出対象領域画像を生成するステップを有し、
前記差分画像生成ステップにおいて、今回取得した検出対象領域画像と、以前に取得した検出対象領域画像の差分画像を生成する、こととしてもよい。
【００３３】
また、前記電子透かし検出方法は、順次取得される前記差分画像から検出対象領域を抽出して検出対象領域画像を生成するステップを有し、
前記電子透かし検出ステップにおいて、前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する、こととしてもよい。
【００３４】
また、前記電子透かし検出方法は、前記フレーム画像を順次取得した後に、前記フレーム画像から特徴領域を抽出して歪み補正及びサイズ正規化を行って特徴領域画像を生成する特徴領域抽出ステップと、
今回取得した特徴領域画像と、以前に取得した特徴領域画像の差分画像を生成する前記差分画像生成ステップと、
前記差分画像から検出対象領域を抽出して検出対象領域画像を生成する検出対象領域抽出ステップと、
前記検出対象領域からの電子透かし検出を行う前記電子透かし検出ステップと、
を有することとしてもよい。
【００３５】
前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、該差分画像の画素値を絶対値化して検出対象領域を探索するステップを有する、こととしてもよい。
【００３６】
また、前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、埋め込み時の基本透かしパターンに付加された位置合わせパターンを用いて検出対象領域を探索するステップを有する、こととしてもよい。
【００３７】
また、前記検出対象領域抽出ステップは、過去の電子透かし検出試行で検出状況が良好であったときの検出対象領域の近傍の領域に限定した探索を行って、今回の検出対象領域抽出処理を行うステップを有する、こととしてもよい。
【００３８】
また、前記検出対象領域抽出ステップは、前記位置合わせパターンを用いて、前記差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。
【００３９】
また、前記検出対象領域抽出ステップは、前記差分画像を記憶手段に加算蓄積し、蓄積した該差分画像中から検出対象領域を探索し、抽出するステップを有する、こととしてもよい。
【００４０】
また、前記検出対象領域抽出ステップは、前記差分画像を前記記憶手段に加算蓄積する際に、該差分画像中の透かしパターンの位相を揃えて、加算蓄積を行うステップを有する、こととしてもよい。
【００４１】
また、本発明によれば、上記の方法の実施に適した電子透かし検出装置、プログラム、及びプログラムを記録した記録媒体が提供される。
【発明の効果】
【００４２】
本発明によれば、テレビなどの動画像をカメラで撮影し、撮影した動画からリアルタイムに電子透かし検出を行うことを可能とする技術を提供できる。また、キャプチャしたフレーム画像中のどの部分から電子透かしの検出を行えばよいかを特定して、様々な撮影角度や背景画像の条件下でも確実に電子透かし検出を行うことが可能な技術を提供できる。
【図面の簡単な説明】
【００４３】
【図１Ａ】実施の形態の概要Ａの電子透かし埋め込み方法のフローチャートである。
【図１Ｂ】実施の形態の概要Ａの電子透かし検出方法のフローチャートである。
【図２Ａ】実施の形態の概要Ａの電子透かし埋め込み装置の構成図である。
【図２Ｂ】実施の形態の概要Ａの電子透かし検出装置の構成図である。
【図３Ａ】実施の形態の概要Ｂの電子透かし埋め込み方法のフローチャートである。
【図３Ｂ】実施の形態の概要Ｂの電子透かし検出方法のフローチャートである。
【図４Ａ】実施の形態の概要Ｂの電子透かし埋め込み装置の構成図である。
【図４Ｂ】実施の形態の概要Ｂの電子透かし検出装置の構成図である。
【図５Ａ】実施の形態の概要Ｃの電子透かし埋め込み方法のフローチャートである。
【図５Ｂ】実施の形態の概要Ｃの電子透かし検出方法のフローチャートである。
【図６Ａ】実施の形態の概要Ｃの電子透かし埋め込み装置の構成図である。
【図６Ｂ】実施の形態の概要Ｃの電子透かし検出装置の構成図である。
【図７】本発明の第１の実施の形態における電子透かし埋め込み装置の構成図である。
【図８】本発明の第１の実施の形態における電子透かし埋め込み装置の動作のフローチャートである。
【図９】本発明の第１の実施の形態におけるフレーム画像取得部の処理を説明するための図である。
【図１０】本発明の第１の実施の形態における透かしパターン生成部の構成図である。
【図１１】本発明の第１の実施の形態における透かしパターン生成部の動作のフローチャートである。
【図１２】本発明の第１の実施の形態における基本透かしパターン生成部の処理の例を説明するための図（その１）である。
【図１３】本発明の第１の実施の形態における基本透かしパターン生成部の処理の例を説明するための図（その２）である。
【図１４Ａ】本発明の第１の実施の形態における透かしパターン切り替え情報の例を説明するための図である。
【図１４Ｂ】本発明の第１の実施の形態における透かしパターン切り替え情報の例を説明するための図である。
【図１４Ｃ】本発明の第１の実施の形態における透かしパターン切り替え情報の例を説明するための図である。
【図１５】本発明の第１の実施の形態における透かしパターン切り替え部の処理を説明するための図（その１）である。
【図１６】本発明の第１の実施の形態における透かしパターン切り替え部の処理を説明するための図（その２）である。
【図１７】本発明の第１の実施の形態における透かしパターン重畳部の処理を説明するための図である。
【図１８】本発明の利用シーンを説明するための図である。
【図１９】本発明の第１の実施の形態における電子透かし検出装置の構成図である。
【図２０】本発明の第１の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図２１】本発明の第１の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【図２２】本発明の第１の実施の形態における差分画像生成部の処理を説明するための図である。
【図２３】本発明の第１の実施の形態における電子透かし検出部の処理の例を説明するための図である。
【図２４】本発明の第１の実施の形態における効果を説明するための図である。
【図２５】本発明の第２の実施の形態における電子透かし検出装置の構成図である。
【図２６】本発明の第２の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図２７】本発明の第２の実施の形態における検出要否判定部の処理を説明するための図である。
【図２８Ａ】本発明の第２の実施の形態における効果を説明するための図である。
【図２８Ｂ】本発明の第２の実施の形態における効果を説明するための図である。
【図２９】本発明の第３の実施の形態における電子透かし検出装置の構成図である。
【図３０】本発明の第３の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図３１】本発明の第３の実施の形態におけるキャプチャタイミング制御部の処理を説明するための図（その１）である。
【図３２】本発明の第３の実施の形態におけるキャプチャタイミング制御部の処理を説明するための図（その２）である。
【図３３Ａ】本発明の第３の実施の形態における効果を説明するための図である。
【図３３Ｂ】本発明の第３の実施の形態における効果を説明するための図である。
【図３４Ａ】本発明の第４の実施の形態における基本透かしパターン生成部の処理を説明するための図である。
【図３４Ｂ】本発明の第４の実施の形態における基本透かしパターン生成部の処理を説明するための図である。
【図３５】本発明の第４の実施の形態における電子透かし検出部の動作のフローチャートである。
【図３６】本発明の第４の実施の形態における効果を説明するための図（その１）である。
【図３７】本発明の第４の実施の形態における効果を説明するための図（その２）である。
【図３８】本発明の第４の実施の形態における効果を説明するための図（その３）である。
【図３９】本発明の第５の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。
【図４０】本発明の第５の実施の形態における電子透かし検出部の動作のフローチャートである。
【図４１】本発明の第６の実施の形態における電子透かし検出部の構成図である。
【図４２】本発明の第６の実施の形態における電子透かし検出部の動作のフローチャートである。
【図４３】本発明の第６の実施の形態における差分画像位相判定部の処理を説明するための図である。
【図４４】本発明の第６の実施の形態における差分画像蓄積バッファを説明するための図である。
【図４５】本発明の第７の実施の形態における電子透かし検出部の構成図である。
【図４６】本発明の第７の実施の形態における電子透かし検出部の動作のフローチャートである。
【図４７】本発明の第７の実施の形態における相関値バッファに関する処理の内容を説明するための図である。
【図４８Ａ】本発明の第７の実施の形態における検出可否判定部の処理の内容を説明するための図である。
【図４８Ｂ】本発明の第７の実施の形態における検出可否判定部の処理の内容を説明するための図である。
【図４９】本発明の第８の実施の形態における透かしパターン生成部の構成図である。
【図５０】本発明の第８の実施の形態における透かしパターン生成部の動作のフローチャートである。
【図５１】本発明の第８の実施の形態における透かし情報分割部の処理を説明するための図である。
【図５２Ａ】本発明の第８の実施の形態における基本透かしパターン生成部の処理を説明するための図である。
【図５２Ｂ】本発明の第８の実施の形態における基本透かしパターン生成部の処理を説明するための図である。
【図５３】本発明の第８の実施の形態における電子透かし検出装置の構成図である。
【図５４】本発明の第８の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図５５】本発明の第８の実施の形態における検出データブロック蓄積部の構成図である。
【図５６】本発明の第８の実施の形態における検出データブロック蓄積部の動作のフローチャートである。
【図５７】本発明の第８の実施の形態における検出データブロック蓄積部の処理を説明するための図（その１）である。
【図５８】本発明の第８の実施の形態における検出データブロック蓄積部の処理を説明するための図（その２）である。
【図５９】本発明の第９の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。
【図６０】本発明の第９の実施の形態における電子透かし検出部の動作のフローチャートである。
【図６１】本発明の第１０の実施の形態における電子透かし検出部の構成図である。
【図６２】本発明の第１０の実施の形態における電子透かし検出部の動作のフローチャートである。
【図６３】本発明の第１１の実施の形態における電子透かし検出部の構成図である。
【図６４】本発明の第１１の実施の形態における電子透かし検出部の動作のフローチャートである。
【図６５】本発明の第１２の実施の形態における電子透かし検出装置の構成図である。
【図６６】本発明の第１２の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図６７】本発明の第１２の実施の形態における電子透かし検出装置のフィードバック出力の例（その１）である。
【図６８】本発明の第１２の実施の形態における電子透かし検出装置のフィードバックの出力の例（その２）である。
【図６９】本発明の第１２の実施の形態における電子透かし検出装置のフィードバック出力の例である。
【図７０】本発明の第１３の実施の形態における透かしパターン重畳部の処理を説明するための図である。
【図７１】本発明の第１３の実施の形態における電子透かし検出装置の構成図である。
【図７２】本発明の第１３の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図７３】本発明の第１３の実施の形態における差分画像生成部の処理を説明するための図である。
【図７４】本発明の第１３の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【図７５】本発明の第１３の実施の形態の効果を説明するための図（その１）である。
【図７６】本発明の第１３の実施の形態の効果を説明するための図（その２）である。
【図７７】本発明の第１３の実施の形態の効果を説明するための図（その３）である。
【図７８】本発明の第１３の実施の形態の効果を説明するための図（その４）である。
【図７９】本発明の第１４の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。
【図８０】本発明の第１４の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【図８１Ａ】本発明の第１４の実施の形態の効果を説明するための図である。
【図８１Ｂ】本発明の第１４の実施の形態の効果を説明するための図である。
【図８２】本発明の第１４の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。
【図８３】本発明の第１５の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【図８４】本発明の第１６の実施の形態における電子透かし検出装置の構成図である。
【図８５】本発明の第１６の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図８６】本発明の第１６の実施の形態における特徴領域抽出部の処理を説明するための図（その１）である。
【図８７】本発明の第１６の実施の形態における特徴領域抽出部の処理を説明するための図（その２）である。
【図８８】本発明の第１６の実施の形態における特徴領域抽出部の処理を説明するための図（その３）である。
【図８９】本発明の第１６の実施の形態における特徴領域抽出部の処理を説明するための図（その４）である。
【図９０】本発明の第１６の実施の形態における特徴領域抽出部の処理を説明するための図（その５）である。
【図９１】本発明の第１６の実施の形態における差分画像生成部の処理を説明するための図（その１）である。
【図９２】本発明の第１６の実施の形態における差分画像生成部の処理を説明するための図（その２）である。
【図９３】本発明の第１６の実施の形態における差分画像生成部の処理を説明するための図（その３）である。
【図９４】本発明の第１７の実施の形態における特徴領域抽出部の処理を説明するための図である。
【図９５】本発明の第１７の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【図９６】本発明の第１８の実施の形態における検出対象領域抽出の処理を説明するための図（その１）である。
【図９７】本発明の第１８の実施の形態における検出対象領域抽出の処理を説明するための図（その２）である。
【図９８】本発明の第１８の実施の形態における検出対象領域抽出の処理を説明するための図（その３）である。
【図９９】本発明の第１８の実施の形態における検出対象領域抽出の処理を説明するための図（その４）である。
【図１００】本発明の第１９の実施の形態における電子透かし検出装置の構成図である。
【図１０１】本発明の第１９の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図１０２】本発明の第１９の実施の形態における検出対象領域抽出部の処理を説明するための図（その１）である。
【図１０３】本発明の第１９の実施の形態における検出対象領域抽出部の処理を説明するための図（その２）である。
【図１０４】本発明の第１９の実施の形態における電子透かし検出装置の構成図である。
【図１０５】本発明の第１９の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図１０６】本発明の第１９の実施の形態における検出対象領域抽出部の処理を説明するための図（その１）である。
【図１０７】本発明の第１９の実施の形態における差分画像生成部の処理を説明するための図（その２）である。
【図１０８】本発明の第２０の実施の形態における透かしパターン重畳部の処理を説明するための図（その１）である。
【図１０９】本発明の第２０の実施の形態における透かしパターン重畳部の処理を説明するための図（その２）である。
【図１１０】本発明の第２０の実施の形態における差分画像生成部の処理を説明するための図である。
【図１１１】本発明の第２０の実施の形態における検出対象領域抽出部の処理を説明するための図（その１）である。
【図１１２】本発明の第２０の実施の形態における検出対象領域抽出部の処理を説明するための図（その２）である。
【図１１３】本発明の第２０の実施の形態における電子透かし検出装置のフィードバック出力の例（その１）である。
【図１１４】本発明の第２０の実施の形態における電子透かし検出装置のフィードバック出力の例（その２）である。
【図１１５】本発明の第２０の実施の形態における電子透かし検出装置のフィードバック出力の例（その３）である。
【図１１６】本発明の第２０の実施の形態における電子透かし検出装置のフィードバック出力の例（その４）である。
【図１１７】本発明の第２１の実施の形態における透かしパターン切り替え情報の例を説明するための図である。
【図１１８】本発明の第２１の実施の形態における透かしパターン切り替え部の処理を説明するための図である。
【図１１９】本発明の第２１の実施の形態における透かしパターン切り替え部の処理を説明するための図である。
【図１２０】本発明の第２１の実施の形態における差分画像生成部の処理の例を説明するための図である。
【図１２１】本発明の第２１の実施の形態の原理を説明するための図（その１）である。
【図１２２】本発明の第２１の実施の形態の原理を説明するための図（その２）である。
【図１２３】本発明の第２１の実施の形態の原理を説明するための図（その３）である。
【図１２４】本発明の第２１の実施の形態の効果を説明するための図である。
【図１２５】本発明の第２２の実施の形態における差分画像生成部の処理を説明するための図である。
【図１２６Ａ】本発明の第２２の実施の形態におけるフィルタ処理の例を説明するための図である。
【図１２６Ｂ】本発明の第２２の実施の形態におけるフィルタ処理の例を説明するための図である。
【図１２７】本発明の第２３の実施の形態における透かし重量部の処理を説明するための図である。
【図１２８】本発明の第２３の実施の形態における透かしパターン振幅調整の例を説明するための図である。
【図１２９】本発明の第２４の実施の形態における電子透かし検出装置の構成図である。
【図１３０】本発明の第２４の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図１３１Ａ】本発明の第２４の実施の形態の効果を説明するための図である。
【図１３１Ｂ】本発明の第２４の実施の形態の効果を説明するための図である。
【図１３２】本発明の第２５の実施の形態における透かしパターン切替情報の例を説明するための図である。
【図１３３】本発明の第２５の実施の形態における透かしパターン切り替え部の処理を説明するための図（その１）である。
【図１３４】本発明の第２５の実施の形態における透かしパターン切り替え部の処理を説明するための図（その２）である。
【図１３５】本発明の第２５の実施の形態における電子透かし検出装置の構成図である。
【図１３６】本発明の第２５の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図１３７】本発明の第２５の実施の形態における差分画像生成部の処理を説明するための図である。
【図１３８】本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図（その１）である。
【図１３９】本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図（その２）である。
【図１４０Ａ】本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図（その３）である。
【図１４０Ｂ】本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図（その３）である。
【図１４１】本発明の第２５の実施の形態の効果を説明するための図（その１）である。
【図１４２】本発明の第２５の実施の形態の効果を説明するための図（その２）である。
【図１４３】本発明の第２５の実施の形態の効果を説明するための図（その３）である。
【図１４４】本発明の第２５の実施の形態の効果を説明するための図（その４）である。
【図１４５】本発明の第２５の実施の形態の効果を説明するための図（その５）である。
【図１４６】本発明の第２５の実施の形態の効果を説明するための図（その６）である。
【図１４７】本発明の第２５の実施の形態の効果を説明するための図（その７）である。
【図１４８】本発明の第２５の実施の形態の効果を説明するための図（その８）である。
【図１４９】本発明の第２５の実施の形態の効果を説明するための図（その９）である。
【図１５０】本発明の第２５の実施の形態の効果を説明するための図（その１０）である。
【図１５１】本発明の第２５の実施の形態の効果を説明するための図（その１１）である。
【図１５２】本発明の第２５の実施の形態の効果を説明するための図（その１２）である。
【図１５３】本発明の第２５の実施の形態の効果を説明するための図（その１３）である。
【図１５４】本発明の第２５の実施の形態の効果を説明するための図（その１４）である。
【図１５５】本発明の第２５の実施の形態の効果を説明するための図（その１５）である。
【図１５６】本発明の第２５の実施の形態の効果を説明するための図（その１６）である。
【図１５７】本発明の第２５の実施の形態の効果を説明するための図（その１７）である。
【図１５８】本発明の第２５の実施の形態の効果を説明するための図（その１８）である。
【図１５９】本発明の第２５の実施の形態の効果を説明するための図（その１９）である。
【図１６０】本発明の第２５の実施の形態の効果を説明するための図（その２０）である。
【図１６１】本発明の第２５の実施の形態の効果を説明するための図（その２１）である。
【図１６２】本発明の第２６の実施の形態における電子透かし埋め込み装置の構成図である。
【図１６３】本発明の第２０の実施の形態における電子透かし埋め込み装置の動作のフローチャートである。
【図１６４】本発明の第２６の実施の形態におけるフレーム画像取得部の処理を説明するための図である。
【図１６５】本発明の第２６の実施の形態における透かしパターン生成部の構成図である。
【図１６６】本発明の第２６の実施の形態における透かしパターン生成部の動作のフローチャートである。
【図１６７】本発明の第２６の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。
【図１６８】本発明の第２６の実施の形態における透かしパターン切り替え部の構成図である。
【図１６９】本発明の第２６の実施の形態における透かしパターン切り替え部の動作のフローチャートである。
【図１７０】本発明の第２６の実施の形態における透かしパターン切り替え情報の例を説明するための図である。
【図１７１】本発明の第２６の実施の形態における透かしパターン切り替え部の処理を説明するための図である。
【図１７２】本発明の第２６の実施の形態における透かし位相パターン画像化部の処理を説明するための図である。
【図１７３】本発明の第２６の実施の形態における透かしパターン重畳部の処理説明するための図である。
【図１７４】本発明の第２６の実施の形態における電子透かし検出装置の構成図である。
【図１７５】本発明の第２６の実施の形態における電子透かし検出装置の動作のフローチャートである。
【図１７６】本発明の第２６の実施の形態における特徴領域抽出部の処理を説明するための図である。
【図１７７】本発明の第２６の実施の形態における差分画像生成部の処理を説明するための図ある。
【図１７８】本発明の第２６の実施の形態における位相差分計測部の処理の内容を説明するための図（その１）である。
【図１７９】本発明の第２６の実施の形態における位相差分計測部の処理の内容を説明するための図（その２）である。
【図１８０Ａ】本発明の第２６の実施の形態における位相差分計測部の処理の内容を説明するための図（その３）である。
【図１８０Ｂ】本発明の第２６の実施の形態における位相差分計測部の処理の内容を説明するための図（その３）である。
【図１８１】本発明の第２６の実施の形態における差分画像（Ｂ）蓄積バッファを説明するための図である。
【図１８２】本発明の第２６の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【図１８３】本発明の第２６の実施の形態における電子透かし検出部の処理の例を説明するための図である。
【発明を実施するための形態】
【００４４】
以下、図面と共に本発明の実施の形態を説明する。
【００４５】
［実施の形態の概要］
まず、実施の形態の概要について説明する。図１Ａ〜図２Ｂは実施の形態の概要Ａを示す図である。
【００４６】
図１Ａに、実施の形態の概要Ａの電子透かし埋め込み方法のフローチャートを示す。この方法は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であり、まず、フレーム画像群からなる動画像データ、透かし情報、透かしパターン切り替え情報が電子透かし埋め込み装置に入力される（ステップＡ１）。次に、電子透かし埋め込み装置は、動画像データの各フレーム画像及び該フレーム表示時刻を順次取得し（ステップＡ２）、透かし情報とフレーム表示時刻と透かしパターン切り替え情報を用いて、透かしパターンを生成し（ステップＡ３）、透かしパターンをフレーム画像に重畳する（ステップＡ４）。そして、電子透かし埋め込み装置は、ステップ２〜ステップ４を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する（ステップＡ５）。
【００４７】
図１Ｂに、実施の形態の概要Ａの電子透かし検出方法のフローチャートを示す。この方法は、動画像から電子透かしを検出する電子透かし検出装置における電子透かし検出方法であって、まず、フレーム画像を順次取得する（ステップＡ６）。次に、電子透かし検出装置は、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し（ステップＡ７）、差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する（ステップＡ８）そして、電子透かし検出装置は、電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、動画像入力手段で新たなフレーム画像を取得し直し、上記の処理を繰り返す（ステップＡ９）。
【００４８】
図２Ａに、実施の形態の概要Ａの電子透かし埋め込み装置の構成図を示す。この電子透かし埋め込み装置は、入力されたフレーム画像群からなる動画像データの各フレーム画像及び該フレーム表示時刻を順次取得するフレーム画像取得手段Ａ１１０と、入力された透かし情報とフレーム表示時刻と入力された透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしパターン生成手段Ａ１２０と、透かしパターンをフレーム画像に重畳する透かしパターン重畳手段Ａ１３０と、フレーム画像取得手段Ａ１１０から透かしパターン重畳手段までの処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成手段Ａ１４０と、を有する。
【００４９】
図２Ｂに、実施の形態の概要Ａの電子透かし検出装置の構成図を示す。この電子透かし検出装置は、フレーム画像を順次取得する動画像入力手段Ａ２１０と、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段Ａ２３０と、差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段Ａ２４０と、を有する。
【００５０】
図３Ａ〜図４Ｂは実施の形態の概要Ｂを示す図である。図３Ａに、実施の形態の概要Ｂの電子透かし埋め込み方法のフローチャートを示す。この方法は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、まず、フレーム画像群からなる動画像データ、透かし情報、透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報が入力される。そして、電子透かし埋め込み装置は、動画像データの各フレーム画像及び該フレーム画像の表示時刻を順次取得する（ステップＢ１）。そして、電子透かし埋め込み装置は、透かし情報とフレーム画像表示時刻と透かしパターン切り替え情報を用いて、透かしパターンを生成し（ステップＢ２）、透かしパターンをフレーム画像に重畳する（ステップＢ３）。そして、電子透かし埋め込み装置は、ステップＢ１〜ステップＢ３を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する（ステップＢ４）。
【００５１】
図３Ｂに、実施の形態の概要Ｂの電子透かし検出方法のフローチャートを示す。この方法は、動画像から電子透かしを検出する電子透かし検出装置により電子透かし検出方法であって、まず、フレーム画像を順次取得する（ステップＢ１１）。電子透かし検出装置は、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像（Ａ）を生成し、該今回取得したフレーム画像を該画像記憶手段に格納する（ステップＢ１２）。電子透かし検出装置は、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段から読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づいて差分画像（Ｂ）を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する（ステップＢ１３）。そして、電子透かし検出装置は、差分画像（Ｂ）からの電子透かし検出を行って、電子透かしの検出状況を出力し（ステップＢ１４）、電子透かし検出処理を続行する場合は、新たなフレーム画像を取得し直し上記処理を繰り返す（ステップＢ１５）。
【００５２】
図４Ａに、実施の形態の概要Ｂの電子透かし埋め込み装置の構成図を示す。この電子透かし埋め込み装置は、入力されたフレーム画像群からなる動画像データの各フレーム画像及び該フレーム画像の表示時刻を順次取得するフレーム画像取得手段Ｂ１１０と、入力された透かし情報とフレーム画像表示時刻と透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしパターン生成手段Ｂ１２０と、透かしパターンをフレーム画像に重畳する透かしパターン重畳手段Ｂ１３０と、透かし入りフレーム画像群を結合して透かし入り動画像データを生成し、出力する動画像データ再構成手段Ｂ１４０と、を有する。
【００５３】
図４Ｂに、実施の形態の概要Ｂの電子透かし検出装置の構成図を示す。この電子透かし検出装置は、フレーム画像を順次取得する動画像入力手段Ｂ２１０と、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像（Ａ）を生成し、該今回取得したフレーム画像を該画像記憶手段Ｂ２５０に格納する差分画像生成手段Ｂ２３０と、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段Ｂ３７０から読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づいて差分画像（Ｂ）を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する位相差分計算手段Ｂ３６０と、差分画像（Ｂ）からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段Ｂ２４０と、を有する。
【００５４】
図５Ａ〜図６Ｂは実施の形態の概要Ｃを示す図である。図５Ａに、実施の形態の概要Ｃの電子透かし埋め込み方法のフローチャートを示す。この方法は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、まず、フレーム画像群からなる動画像データ、透かし情報、透かしパターン切り替え情報が電子透かし埋め込み装置に入力される（ステップＣ１）。そして、電子透かし埋め込み装置は、動画像データの各フレーム画像及び該フレーム表示時刻を順次取得し（ステップＣ２）、透かし情報とフレーム表示時刻と透かしパターン切り替え情報を用いて、透かしパターンを生成する（ステップＣ３）。電子透かし埋め込み装置は、透かしパターンをフレーム画像以下のサイズにスケール変更してフレーム画像の内部に重畳し（ステップＣ４）、ステップＣ２〜ステップＣ４を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する（ステップＣ５）。
【００５５】
図５Ｂに、実施の形態の概要Ｃの電子透かし検出方法のフローチャートを示す。この方法は、動画像から電子透かしを検出する電子透かし検出装置における電子透かし検出方法であって、まず、フレーム画像を順次取得する（ステップＣ６）。電子透かし検出装置は、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し（ステップＣ７）、差分画像から検出対象領域を抽出して検出対象領域画像を生成する（ステップＣ８）。そして、電子透かし検出装置は、検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力し（ステップＣ９）、検出状況により電子透かし検出処理を続行する場合は、新たなフレーム画像を取得し直し、上記の処理を繰り返す（ステップＣ１０）。
【００５６】
図６Ａに、実施の形態の概要Ｃの電子透かし埋め込み装置の構成図を示す。この電子透かし埋め込み装置は、動画像データの各フレーム画像及びフレーム表示時刻を順次取得するフレーム画像取得手段Ｃ１１０と、入力された透かし情報と透かしパターン切り替え情報とフレーム表示時刻とを用いて、透かしパターンを生成する透かしパターン生成手段Ｃ１２０と、透かしパターンをフレーム画像以下のサイズにスケール変更してフレーム画像の内部に重畳する透かしパターン重畳手段Ｃ１３０と、上記処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成手段Ｃ１４０と、を有する。
【００５７】
図６Ｂに、実施の形態の概要Ｃの電子透かし検出装置の構成図を示す。この電子透かし検出装置は、フレーム画像を順次取得する動画像入力手段Ｃ２１０と、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段Ｃ２３０と、差分画像から検出対象領域を抽出して検出対象領域画像を生成する検出対象領域抽出手段Ｃ２２０と、検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段Ｃ２４０と、を有する。
【００５８】
［第１の実施の形態］
＜電子透かし埋め込み装置＞
図７は、本発明の第１の実施の形態における電子透かし埋め込み装置の構成を示す。
【００５９】
同図に示す電子透かし埋め込み装置１００は、フレーム画像取得部１１０、透かしパターン生成部１２０、透かしパターン重畳部１３０、動画像データ再構成部１４０を有している。
【００６０】
フレーム画像取得部１１０には、原動画像データが入力され、透かしパターン生成部１２０には、透かし情報と透かしパターン切り替え情報が入力される。また、動画像データ再構成部１４０は、透かし入り動画像データを出力する
以下に、電子透かし埋め込み装置１００の動作を説明する。
【００６１】
図８は、本発明の第１の実施の形態における電子透かし埋め込み装置の動作のフローチャートである。
【００６２】
ステップ１１０）  フレーム画像取得部１１０は、図９に示すように、原動画像データからフレーム画像及び当該フレーム表示時刻を一枚ずつ順次取得する。ここで、フレーム表示時刻とは、例えば、タイムコードと再生時のフレームレートから定まる動画像の先頭からの絶対的な時刻を表すものでもよいし、あるいは、フレーム毎に付与される通し番号など、再生時のフレーム間の相対的な時間間隔が測れるようなものでもよい。フレーム画像取得部１１０は、入力動画像データがＭＰＥＧなどの符号化データである場合は、復号を行ってフレーム画像を取得する。
【００６３】
ステップ１２０）  透かしパターン生成部１２０には、透かし情報と透かしパターン切り替え情報が入力され、透かし情報、フレーム表示時刻、透かしパターン切り替え情報を用いて透かしパターンを生成する。
【００６４】
ステップ１３０）  透かしパターン重畳部１３０において、透かしパターン生成部１２０で生成された透かしパターンを前述のフレーム画像に重畳して透かし入りフレーム画像を生成する。
【００６５】
ステップ１４０）  最後に、動画像データ再構成部１４０において、順次生成される透かし入りフレーム画像の列を、動画像データとして再構成して透かし入り動画像データとして出力する。この際、必要ならばMPEGエンコードなどの符号化を行ってもよい。
【００６６】
次に、透かしパターン生成部１２０について詳細に説明する。
【００６７】
図１０は、本発明の第１の実施の形態における透かしパターン生成部の構成を示す。
【００６８】
透かしパターン生成部１２０は、基本透かしパターン生成部１２１と、透かしパターン切り替え部１２２を有する。
【００６９】
図１１は、本発明の第１の実施の形態における透かしパターン生成部の動作のフローチャートである。
【００７０】
ステップ１２１）  基本透かしパターン生成部１２１は、透かし情報が入力されると、当該透かし情報を２次元パターンである基本透かしパターンに変換する。
【００７１】
この変換の仕方は、図１２に示すように、通常の静止画向け電子透かし技術で用いられている方法、例えば、「中村、片山、山室、曽根原：「カメラ付携帯電話機を用いたアナログ画像からの高速電子透かし方式」、信学論（D-II）、Vol. J87-D-II, No.12, pp.2145-2155, 2004年12月」（以下、文献１と記す）に記載されている方法を用いることができる。その方法には、透かし情報のビット値を拡張系列によって直接スペクトラム拡散変調して得られる系列の値に応じて、画素値の大小を対応付ける方法（図１２：変調方法（Ａ−１））、ブロックの波形パターンを切り替える方法（図１２：変調方法（Ａ−２））、あるいは系列の項の値を２ブロックに対応付けて画素値の変化の有無で値を表す方法（図１２：変調方法（Ａ−３））、波形パターンの位相変化の有無で表す方法（図１２：変調方法（Ａ−４））などがある。なお、（図１２：Ａ−３），（図１２：Ａ−４）のような変調の際には、系列の項に対応する２ブロックの位置を、１ブロックずつずらしてダブらせながら変調できる。
【００７２】
あるいは、図１３の例に示すように、透かし情報をある程度の長さのシンボルに区切り（図１３では、１ビットずつ１シンボルとして区切っている）、各シンボルの取り得る値毎に異なる独立な拡散系列を対応付け、それらを連結、あるいは、重畳して多重化（図示せず）して得られる系列の値を、図１２の場合と同様に２次元パターンに変換する、といったやり方も考えられる。なお、これらの基本透かしパターンは、カメラキャプチャ時の解像度が低くなる場合も考慮して、ブロックの大きさを大きくとったり、波形パターンを低周波パターンとしておくことが望ましい。また、図１２及び図１３では、透かし情報をスペクトラム拡散変調した結果を直接画素パターン化しているが、文献２「T. Nakamura, H. Ogawa, A. Tomioka, Y. Takashima, "Improved digital watermark robustness against translation and/or cropping of an image area", IEICE Trans. Fundamentals, vol. E83-A, No.1, pp.68-76, Jan. 2000」（以下、文献２と記す）のように周波数空間で同様に行い、逆直交変換で画像パターン化してもよい。いずれにせよ、画像に対して加法的に重畳されるタイプの電子透かし方式であればどのようなものでも構わない。
【００７３】
以下、説明のため、基本透かしパターンの各画素値は正負の値を持ち、画素値の平均値は０であるものとする。任意の基本透かしパターンの平均値をシフトすれば、このようにすることが容易であるのは自明である。
【００７４】
ステップ１２２）  透かしパターン生成部１２０は、続いて透かしパターン切り替え部１２２において、フレーム表示時刻とパターン切り替えの情報の関係から、基本透かしパターンの位相反転の要否を判定する。
【００７５】
ステップ１２３）  位相反転が必要である場合は、基本透かしパターンの位相を反転し、透かしパターンとして出力する。
【００７６】
ステップ１２４）  位相反転が不要な場合は、基本透かしパターンをそのまま透かしパターンとして出力する。
【００７７】
図１４Ａ〜Ｃは、本発明の第１の実施の形態における透かしパターン切り替え情報の例を示す。透かしパターン切り替え情報は、動画像の再生時の時間軸に対して基本透かしパターンの位相をどのように変更するかを表す情報であり、図１４Ａのように一定時間で基本透かしパターンが反転するように指示したり、図１４Ｂのようにある時間単位でランダムに反転するように指示したり、あるいは、図１４Ｃのように複雑なタイミングで反転するように指示することもできる。ランダム切り替えなど、複雑なパターンを用いることで解析が困難となるから、著作権保護などセキュリティ目的で本発明を用いる場合、電子透かしに対する攻撃に対して安全性が増す。なお、図１４Ａ〜Ｃの例は、位相０とπの２値を矩形的にとるケースのみを示しているが、例えば、サインカーブなど、滑らかに位相が変化するものを用いてもよい。
【００７８】
図１５は、本発明の第１の実施の形態における透かしパターン切り替え部の処理を説明するための図である。同図では、前述の変調方法（Ａ−１）を用いた場合について示す。透かしパターン切り替え部１２２は、透かしパターン切り替え情報とフレーム表示時刻、基本透かしパターンを入力とし、図１５のように透かしパターン切り替え情報が１／１０秒毎に反転を指示するようなものであったとする。また、原動画像は、３０フレーム／秒で再生されるものとすると、３フレームおきに位相反転することとなる。このときフレーム画像取得部１１０で取得したフレーム表示時刻ｔを透かしパターン切り替え情報の時間軸上にとったときに、透かしパターン切り替え情報で表される位相はπとなっているとすると、この場合は、基本透かしパターンの位相を反転したものを当該フレーム表示時刻に対する透かしパターンとする。
【００７９】
なお、基本透かしパターンは正負の画素値を持ち、平均値が０であるので、位相反転は各画素値に−１を掛け算することによって得られる。また、フレーム表示時刻ｔ'を透かしパターン切り替え情報の時間軸上にとったときの位相が０である場合は、基本透かしパターンの位相変化量を０、すなわち変化を与えず、そのまま透かしパターンとして出力する。
【００８０】
なお、図１６に示すように、透かしパターン切り替え部１２２における位相変調は画素値の振幅に対して行われるものであるので、例えば、変調方法（Ａ−２）のようにブロック毎に波形パターンを用いた基本透かしパターンの場合は、波形の向きは変化せず、画素値が反転する形となる。また、透かしパターン切り替え情報で表される透かしパターンの位相変化は、透かし入り動画像の画質劣化を抑えるため、ある程度の時間区間（例えば、１秒間）の範囲で、正位相と逆位相への偏りがないことが望ましい。即ち、図１４のグラフ表示の横軸を位相偏り０として時間区間で積分した値が０となることが望ましい。
【００８１】
反転・非反転のみの透かしパターン切り替えの場合について言えば、時間区間内の反転・非反転の時間の合計が略同じとなるようにすることが望ましい。
【００８２】
次に、透かしパターン重畳部１３０について詳細に説明する。
【００８３】
図１７は、本発明の第１の実施の形態における透かしパターン重畳部の処理を説明するための図である。
【００８４】
透かしパターン重畳部１３０は、フレーム画像と、当該フレーム表示時刻に基づいて生成された透かしパターンを入力する。透かしパターン重畳部１３０では、まず、透かしパターンをフレーム画像のサイズまで引き伸ばして、その後フレーム画像に加算して、透かし入りフレーム画像を得る。加算の前に透かしパターンの振幅を適宜増減してから加算することで、電子透かしの耐性と画質劣化のトレードオフバランスを調整することも可能である。また、透かしパターンをフレーム画像に加算する際に、どのような成分に加算するかも様々な態様が有り得る。例えば、フレーム画像の輝度値に加算する、あるいは、ＲＧＢ表色系のBlue成分に加算する。CMYK表色系のYellow成分に加算する。HSV表色系のHue成分に加算する、YCbCr表色系のCb成分に加算するなど、様々である。また、透かしパターンの１画素が一つの値ではなく、２つの値を持つような、複数成分を利用する透かしパターンの場合も有り得るが、その場合は、例えば、RGB表色系のRed成分及びGreen成分に透かしパターンの各プレーンの画素値をそれぞれ加算するなどして複数の成分を変更することも有り得る。
【００８５】
最後に、動画像データ再構成部１４０について詳細に説明する。
【００８６】
動画像データ再構成部１４０は、上記の処理により順次生成される透かし入りフレーム画像を動画像データとして再構成して透かし入り動画像データとして出力する。再構成の際には、MPEGエンコードなどの符号化を行ってもよい。
【００８７】
以上が本実施の形態における透かし埋め込み装置１００の説明である。
【００８８】
ここで、本実施の形態の利用シーンについて説明する。
【００８９】
図１８は、本発明の第１の実施の形態における利用シーンを説明するための図である。
【００９０】
上記で説明した透かし入り動画像データが、例えば、テレビ放送などによってテレビ表示装置上で再生されている（１）。視聴者が視聴番組に関連する情報サービスを利用する際には、例えば、カメラ付携帯電話機などのカメラをテレビの表示画面に向けて撮影を始める（２）。撮影によって携帯電話機上にビデオフレームがリアルタイムに順次キャプチャ入力され、このフレーム群から電子透かしの検出を行う（３）。検出した電子透かしの情報を元に、例えば、ネットワーク上の情報資源を取得するなどの関連情報サービスを利用することができる（４）。
【００９１】
＜電子透かし検出装置＞
次に、電子透かし検出装置について説明する。
【００９２】
図１９は、本発明の第１の実施の形態における電子透かし検出装置の構成を示す。
【００９３】
同図に示す電子透かし検出装置２００Ａは、動画像入力部２１０、検出対象領域抽出部２２０、差分画像生成部２３０、電子透かし検出部２４０、検出対象領域画像バッファ２５０を有している。動画像入力部２１０には、テレビなどにディスプレイ表示されたアナログ動画像、あるいは、MPEGエンコードされたディジタル動画像が入力され、電子透かし検出部２４０は、検出結果を出力する。
【００９４】
図２０は、本発明の第１の実施の形態における電子透かし検出装置の動作のフローチャートである。
【００９５】
ステップ２０１）  動画像入力部２１０において、アナログまたはディジタル動画像が入力されると、順次フレーム画像を取得する。アナログ動画像の入力の際は、カメラやスキャナ、あるいは、アナログビデオ信号などが入力され、フレーム画像を取得し、また、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。
【００９６】
ステップ２０２）  次に、検出対象領域抽出部２２０において、順次入力される各フレーム画像中の透かし検出の対象となる検出対象領域を抽出して、検出対象領域画像を取得する。
【００９７】
ステップ２０３）  次に、差分画像生成部２３０において、現在取得した検出対象領域画像と検出対象領域画像バッファ２５０に蓄積されている以前に取得した検出対象領域画像との差分画像を生成する。
【００９８】
ステップ２０４）  また、差分画像生成部２３０は、次の検出試行に備えて、検出対象領域画像バッファ２５０に今回の検出対象領域画像をバッファリングしておく。
【００９９】
ステップ２０５）  電子透かし検出部２４０において、差分画像から電子透かし検出を試み、検出結果を出力する。電子透かし検出が成功しなかった場合は、動画像入力部２１０において、次のフレーム画像を取得し、上記の処理を順次繰り返す。
【０１００】
次に、検出対象領域抽出部２２０の処理を詳細に説明する。
【０１０１】
図２１は、本発明の第１の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【０１０２】
検出対象領域抽出部２２０は、フレーム画像を入力とする。図２１では、カメラ入力の例を示す。カメラ入力の場合、撮影角度によって生じる平面射影変換や、手振れなどによってフレーム画像中の検出対象領域が様々な形で幾何歪みを被って変化する。そのため、検出対象領域抽出部２２０では、キャプチャしたフレーム画像毎にＴＶの表示領域などを、例えば、「片山、中村、山室、曽根原：「電子透かし読み取りのためのｉアプリ高速コーナー検出アルゴリズム」、信学論（D-II）, Vol. J88-D-II, No. 6, pp.1035-1046, 2005年６月」（以下、文献３と記す）のような縁検出・コーナー検出などの手法によって検出する。続いて行う差分画像生成のために、検出した表示領域の平面射影歪みを補正し、さらに画像サイズを正規化して一定としたものを検出対象領域画像として出力する。なお、ＮＴＳＣなどのアナログビデオ信号入力や、MPEGなどのディジタル動画像入力の場合には、フレームに生じる歪みや、フレーム画像中の一部のみを切り出すといった処理は不要であり、フレーム画像をそのまま検出対象領域画像として出力すればよい。
【０１０３】
次に、差分画像生成部２３０について詳細に説明する。
【０１０４】
図２２は、本発明の第１の実施の形態における差分画像生成部の処理を説明するための図である。
【０１０５】
差分画像生成部２３０は、検出対象領域画像を入力とする。差分画像生成部２３０は、現在入力された検出対象領域画像と、検出対象領域画像バッファ２５０に蓄積されている、以前に取得した検出対象領域画像の差分画像を生成する。最も簡単には、直前の検出対象画像がバッファリングされており、差分対象とすることが考えられるが、検出対象領域画像には複数の画像がバッファリングされており、適宜差分対象を選んで差分画像を生成するとしてもよい。また、次の検出試行に備えて、検出対象領域画像バッファ２５０に今回の検出対象領域画像をバッファリングしておく。この際、検出対象領域画像バッファ２５０中の時間的に古くなった検出対象領域画像は破棄してもよい。
【０１０６】
なお、最初の検出対象領域画像が入力されたタイミングでは、検出対象領域画像バッファ２５０は空であるが、この場合は差分をとらずに最初の検出対象領域画像自体を差分画像として出力して電子透かし検出を試みてもよいし、あるいは電子透かし検出をスキップして次のフレームキャプチャ処理を行ってもよい。
【０１０７】
次に、電子透かし検出部２４０について詳細に説明する。
【０１０８】
電子透かし検出部２４０は、差分画像を入力とし、差分画像から電子透かし検出を試みる。
【０１０９】
図２３は、本発明の第１の実施の形態における電子透かし検出部の処理の例を説明するための図である。同図は、電子透かし埋め込み時の変調方法（Ｂ−１）に対応する検出時の復調方法である。
【０１１０】
まず、差分画像の埋め込みに用いた成分チャネルを取り出す。それが輝度であるとすると輝度成分、を取り出す。そして、埋め込み時の透かしパターンのブロックの個数に差分画像をブロック分割する。
【０１１１】
次に、ブロック内の輝度値の合計を求め、ブロック順に並べて一次元の系列である検出対象系列を得る。変調情報（Ｂ−２）のような場合は、ブロック内の波形パターンのエネルギーを求め、複数の波形パターンのうちどのパターンが支配的かという指標値を算出して一次元に並べる（文献１）。
【０１１２】
次に、埋め込み時には１ビットシンボルを系列の区間毎に変調していたことに対応して、検出対象系列のシンボル位置毎の区間を取り出し、各区間についてシンボル値"０"を表す拡散系列及び"１"を表す拡散系列との相関演算を行う。各シンボル位置について相関値（の絶対値）が最大となるシンボル値が検出した透かし情報となる。図２３の例では、１シンボル目が"０"、２シンボル目が"１"、が検出した透かし情報となる。また、この際に得られた相関値（の絶対値）が予め定めた閾値以上となるなど、十分に大きい場合は電子透かしの検出に成功したとする。なお、変調方法（Ａ−１）〜（Ａ−４）の検出方法については、文献１のように相関値の正負でビット値を決定すればよい
電子透かし検出部２４０で電子透かしの検出が成功した場合には、検出した透かし情報を出力して検出処理を終了して関連情報サービスの提供に状態遷移してもよいし、あるいは、「J. Rekimoto, Y. Ayatsuka, "CyberCode: Designing Augmented Reality Environments with Visual Tags", Designing Augmented Reality Environments (DARE 2000), 2000年」（以下、文献４と記す）等のように、撮影画像とＣＧ（コンピュータグラフィクス）などを合成する拡張現実感的なアプリケーションの場合は、続けて連続的に電子透かし検出を続けてもよい。電子透かし検出に成功しなかった場合は、引き続き動画像入力部２１０のフレームキャプチャ処理に復帰し、検出試行を繰り返す。あるいは、動画像の入力が終了したら検出処理を終了する。
【０１１３】
＜本実施の形態の効果＞
本実施の形態によれば、動画像への電子透かし埋め込みの際に、フレーム毎に透かしパターンを切り替えて埋め込みを行うことによって、単純にフレーム画像に静止画アルゴリズムの適用を繰り返すことで固定の透かしパターンが埋め込まれるような埋め込み方と比較して、固定パターンを避けることができるので画質劣化を低く抑えることができる。特に、切り替え速度が高速な場合、人間の視覚特性においては時間周波数が高い場合は視覚感度が低下するという時間周波数特性に関する知見を適用すれば、画質劣化がより知覚しにくくなる（「樋渡編、画像工学ハンドブック、朝倉書店、ISBN4-254-20033-1, pp.10-56, 1986年」（以下、文献５と記す））。
【０１１４】
また、電子透かし検出処理においては、キャプチャされたフレーム画像の時間差分をとり差分画像からの電子透かし検出を行っている。図２４に示すように、一般に動画像は時間方向のフレーム間相関が高いことが知られており、差分をとることで激しい動きを伴う部分などを除いて原画像成分の大半はキャンセルされる。これと同時に、透かしパターンが逆転している２つのフレーム間の差分の場合は、埋め込み時の透かしパターンの振幅の倍の振幅の透かしパターンが得られることとなる。これによって画像に対して加法的に透かしパターンを重畳するタイプの電子透かし方式共通の課題であった、透かし信号に対する大きな雑音成分である原画信号を抑圧し、さらに透かし信号の振幅を倍にすることができるので、検出時の透かし信号のＳ／Ｎ比を大幅に向上することができ、電子透かしの耐性が向上する
さらに、差分画像を生成する前に、キャプチャしたフレーム画像中の検出対象領域抽出を行い、歪みを補正し、正規化することで、カメラ入力のように撮影角度による平面射影変換歪みや、カメラの移動、視点移動などに伴う平行移動など、キャプチャフレーム中の検出対象領域の様々な歪み要因をキャンセルでき、カメラ入力からの電子透かし検出を実現することができる。さらに、この補正を各キャプチャフレーム毎に対して行うことで、カメラを手で持っているような場合に生じるカメラ自体の移動に伴う撮影フレーム毎の異なる歪み要因をキャンセルことができるため、差分画像生成によって確実に原画信号を抑圧することができ、カメラ付携帯電話機を手で持って撮影するような場合でも問題なく検出成功することが可能である。
【０１１５】
［第２の実施の形態］
本実施の形態では、電子透かし検出装置について説明する。
【０１１６】
本実施の形態は、以下に説明する部分を除いて、前述の第１の実施の形態と同一である。
【０１１７】
図２５は、本発明の第２の実施の形態における電子透かし検出装置の構成を示す。同図に示す電子透かし検出装置２００Ｂは、前述の第１の実施の形態における図１５の構成に検出要否判定部２６０を付加した構成である。
【０１１８】
図２６は、本発明の第２の実施の形態における電子透かし検出装置の動作のフローチャートである。
【０１１９】
ステップ３０１）  電子透かし検出装置２００Ｂの動画像入力部２１０は、アナログまたは、ディジタル動画像を入力し、順次フレーム画像を取得すると同時に、当該フレーム表示時刻を取得する。フレーム表示時刻は、例えば、MPEGエンコードされた動画像などの場合ではタイムコードやフレームレートなどを元に取得できる。カメラなどの場合は表示系との同期が取れないことが考えられる。この場合は動画像入力部２１０内にタイマを持ち、キャプチャ時の時刻を取得する、あるいは直前のキャプチャからの遅延時間を取得するなどの方法で当該キャプチャフレームのフレーム表示時刻を得ることができる。
【０１２０】
ステップ３０２）  次に、検出対象領域抽出部２２０において、順次入力される各フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域を取得する。
【０１２１】
ステップ３０３）  次に、検出要否判定部２６０において、現在取得した検出対象領域画像に対応するフレーム表示時刻と、検出対象領域画像バッファに蓄積されている以前に取得した検出対象領域画像に対応するフレーム表示時刻を、埋め込み時と同じ透かしパターン切り替え情報を参照しながら比較し、２枚の検出対象領域画像中の透かしパターンが同相となっている場合は検出不要とし、ステップ３０４の処理に移行する。同相でないと判定した場合はステップ３０５に移行する。
【０１２２】
ステップ３０４）  検出不要である場合は、検出対象領域画像バッファ２５０に今回の検出対象領域画像及び対応するフレーム表示時刻をバッファリングした上で動画像入力部２１０のキャプチャ処理に復帰する（ステップ３０１に移行する）。
【０１２３】
ステップ３０５）  差分画像生成部２３０に今回の検出対象領域画像を送る。差分画像生成部２３０は、現在取得した検出対象領域画像と、検出対象領域画像バッファ２５０に蓄積されている以前に取得した検出対象領域画像との差分画像を生成する。
【０１２４】
ステップ３０６）  また、差分画像生成部２３０は、次の検出試行に備えて、検出対象領域画像バッファ２５０に今回の検出対象領域画像及びフレーム表示時刻をバッファリングしておく。この際、検出対象領域画像バッファ中の時間的に古くなった検出対象領域画像及びフレーム表示時刻は破棄するなどしておく。
【０１２５】
ステップ３０７）  続いて、電子透かし検出部２４０において、差分画像からの電子透かし検出を試み、検出結果を出力する。
【０１２６】
ステップ３０８）  電子透かし検出が成功したかを判定し、成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す（ステップ３０１に移行する）。成功した場合には、処理を終了する。
【０１２７】
上記の検出要否判定部２６０は、フレーム表示時刻、検出対象領域画像、透かしパターン切り替え情報を入力とする。検出要否判定部２６０は、現在取得した検出対象領域画像に対応するフレーム表示時刻と、検出対象領域画像バッファ２５０に蓄積されている以前に取得した検出対象領域画像に対応するフレーム表示時刻を、埋め込み時と同じ透かしパターン切り替え情報を参照しながら比較し、２枚の検出対象領域画像中の透かしパターンが同相となっているか否かで検出要否を判定し、検出不要の場合は、動画像入力部２１０のキャプチャ処理に復帰する。検出要と判定した場合は差分画像生成部２３０に検出対象領域画像を送る。
【０１２８】
図２７は、本発明の第２の実施の形態における検出要否判定部の処理を説明するための図である。
【０１２９】
例として、透かしパターン切り替え情報が「１／１０秒毎に切り替え」であり、動画像は３０フレーム／秒で再生されているとする。また、検出対象領域画像バッファ２５０に蓄積されている以前のフレームのフレーム表示時刻をｔとする。今回取得したフレーム表示時刻がｔ０またはｔ１の場合は、ｔ０−ｔ＝３／３０秒、あるいは、ｔ１−ｔ＝５／３０秒はそれぞれ１／１０秒毎反転において透かしパターンが逆相になることを表し、差分画像からの電子透かし検出可能性が高いことがわかるため、「検出要」と判定する。また、今回取得したフレーム表示時刻がｔ２の場合は、ｔ２−ｔ＝６／３０秒が１／１０秒毎反転において透かしパターンが同相になることを表し、差分画像からの電子透かし検出可能性が低いことがわかるため、「検出不要」と判定する。
【０１３０】
この例のように、フレーム表示時刻は動画像の先頭からの絶対時間である必要はなく、再生されている動画像のキャプチャタイミング間の遅延時間が得られればよい。
【０１３１】
＜本実施の形態の効果＞
本実施の形態によれば、第１の実施の形態の効果に加え、検出要否判定を行うことで無駄な電子透かし検出処理を省くことで効率的な検出処理を行うことができる。図２８Ａ、Ｂに示すとおり、キャプチャのタイミングを評価して透かしパターンが逆相となっている場合のみ差分画像を生成して検出試行を行うので、検出が困難な同相の場合を避けることができ、無駄な検出試行を省くことができる。処理量を減らした分は、キャプチャのフレームレートを高めることによる検出性能向上や、ユーザインタフェースを高度化するなどによって検出装置の利便性を向上させるといった効果が得られる。
【０１３２】
［第３の実施の形態］
本実施の形態では、電子透かし検出装置について説明する。
【０１３３】
本実施の形態は、以下に説明する部分を除いて、第１の実施の形態と同一である。
【０１３４】
図２９は、本発明の第３の実施の形態における電子透かし検出装置の構成を示す。
【０１３５】
同図に示す電子透かし検出装置２００Ｃは、第１の実施の形態における図１９の構成に、キャプチャタイミング制御部２７０を付加した構成である。
【０１３６】
キャプチャタイミング制御部２７０は、透かしパターン切り替え情報を入力とし、キャプチャタイミング信号を動画像入力部２１０に送る。また、差分タイミング信号を差分画像生成部２３０に送る。
【０１３７】
図３０は、本発明の第３の実施の形態における電子透かし検出装置の動作のフローチャートである。
【０１３８】
ステップ４０１）  動画像入力部２１０は、キャプチャタイミング制御部２７０から入力されたキャプチャタイミング信号で指定されるキャプチャ時間間隔でアナログまたはディジタル動画像を入力し、順次フレーム画像を取得する。
【０１３９】
ステップ４０２）  検出対象領域抽出部２２０において、順次入力される各フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。
【０１４０】
ステップ４０３）  次に、差分画像生成部２３０において現在取得した検出対象領域画像と、検出対象領域画像バッファ２５０に蓄積されている、差分タイミング信号で示される時間的に前の検出対象領域画像との差分画像を生成する。
【０１４１】
ステップ４０４）  また、差分画像生成部２３０は、次の検出試行に備えて、検出対象領域画像バッファ２５０に今回の検出対象領域画像をバッファリングしておく。
【０１４２】
ステップ４０５）  続いて、電子透かし検出部２４０において、差分画像からの電子透かし検出を試み、検出結果を出力する。
【０１４３】
ステップ４０６）  電子透かし検出が成功しなかった場合は、動画像入力部２１０において、次のフレーム画像を取得して、上記の処理を順次繰り返す（ステップ４０１に移行する）。成功した場合は処理を終了する。
【０１４４】
図３１は、本発明の第３の実施の形態におけるキャプチャタイミング制御部の処理を説明するための図である。例として透かしパターン切り替え情報が「１／１０秒毎に切り替え」であり、動画像は３０フレーム／秒で再生されているとする。この場合は、キャプチャタイミング信号を１／１０秒毎に発信し、それを受信した動画像入力部２１０で１／１０秒間隔でキャプチャを行うようにする。あるいは、最初に「１／１０秒間隔でキャプチャすること」という情報をキャプチャタイミング信号として送り、動画像入力部２１０内部でタイミングを取りながら１／１０秒間隔でキャプチャ動作をするようにしてもよい。
【０１４５】
また、差分タイミング信号として、「１／１０秒（の奇数倍）離れた検出対象領域画像の差分をとる」という指示を差分画像生成部２３０に送るものとする。カメラ入力などの場合、キャプチャの時間間隔だけを指定したとしても実際にキャプチャされるフレーム群が異なるケースが有り得る（図３１のキャプチャ例Ａとキャプチャ例Ｂの違い）。しかし、どちらのキャプチャ例の場合も、１／１０秒毎のキャプチャによって必ず逆相の透かしパターンが埋め込まれたフレームを交互にキャプチャ可能である。これによって連続するどの２枚の差分からも電子透かし検出の可能性が高いようにできる。つまり、キャプチャの開始タイミングによらない。
【０１４６】
また、図３２に示すように「１／３０秒間隔でキャプチャし、差分は１／１０（の奇数倍）離れた検出対象領域画像間で行う」ように指示を行い、検出対象領域画像バッファ２５０には、１／３０秒でキャプチャされたフレームから得られた直近３枚分の検出対象領域画像がバッファリングされているとすると、１／３０秒毎に入力される新たな検出対象領域画像と、１／１０秒前、即ち、３枚前の検出対象領域画像との差分を順次とることで、毎回の透かし検出試行において、検出可能性が全て高いようにできる。
【０１４７】
なお、入力がMPEGなどのディジタルの場合や、アナログビデオ信号など、入力のフレーム表示時刻を正確に得られる場合は、同期を合わせることができるのは自明であるので、上記と同様の処理によって各検出試行で検出可能性が高くなるようにできる。
【０１４８】
＜本実施の形態の効果＞
本実施の形態によれば、第１の実施の形態の効果に加え、図３３Ａ、Ｂに示すように、透かしパターン切り替えタイミングと同期をとったタイミングでキャプチャ及び差分画像生成を行うことにより、常に透かしパターンが逆相となるものについての差分をとって検出を行うことができるので、全ての検出試行で透かしパターンが強調された差分画像からの検出となり、検出可能性を高くすることができる。これにより、検出可能性の低い無駄な試行を行うことがなくなるので、電子透かし検出に至るまでに必要な時間を短縮でき、キャップチャを開始してから素早く検出を成功させることができる。また、拡張現実感的なアプリケーションなど、透かし検出が成功しても検出を続行する場合は、検出成功状態が途切れることなく持続するので、ユーザインタフェースが改善され、利便性が向上するという効果も得られる。
【０１４９】
［第４の実施の形態］
本実施の形態では、透かしパターンの位相の反転によって検出された透かし情報のビットが反転するタイプの変調方法を用いた場合でも正しい透かし情報を検出するための方法について説明する。
【０１５０】
本実施の形態は、以下に説明する部分を除いて、第１〜第３の実施の形態と同様である。
【０１５１】
図３４Ａ、Ｂは、本発明の第４の実施の形態における基本透かしパターン生成部の処理内容を示す。同図は、第１の実施の形態における図１０に示す電子透かし埋め込み装置１００の透かしパターン生成部１２０の基本透かしパターン生成部１２１の処理内容を示している。
【０１５２】
第１〜第３の実施の形態における基本透かしパターン生成部１２１では、入力された透かし情報のみを基本透かしパターンに変調していた。本実施の形態では、入力された透かし情報に、透かし情報のビット反転判定用のフラグビットを１ビット追加して基本透かしパターンを生成する。あるいは、第１の実施の形態乃至第３の実施の形態と比較して透かし情報のビット長を１ビット少ないものを想定してビット反転判定用のフラグビットを追加し、第１乃至第３の実施の形態と同じビット長の情報を元に基本透かしパターンを生成するとしてもよい。図３４の例では、ビット反転判定用のフラグビットとしてビット値"０"が正位相、即ち、ビット反転なしを表すものとして付加される。
【０１５３】
図３５は、本発明の第４の実施の形態における電子透かし検出部の動作のフローチャートである。
【０１５４】
ステップ５０１）  電子透かし検出部２４０は、差分画像を入力として、まず、第１乃至第３の実施の形態の場合と同様に差分画像からの電子透かし検出を試みる。
【０１５５】
ステップ５０２）  電子透かしが検出できた場合は、ステップ５０４に移行し、検出できない場合はステップ５０３に移行する。
【０１５６】
ステップ５０３）  検出できない場合は、次のフレームキャプチャに復帰する。
【０１５７】
ステップ５０４）  電子透かしが検出できた場合、検出した情報中のビット反転判定フラグの値を見て、その値が正位相を表すものであるかどうかを評価する。正位相を表すものである場合は、ステップ５０６に移行し、逆位相を表す場合はステップ５０５に移行する。
【０１５８】
ステップ５０５）  ビット反転判定フラグが逆位相を表すものであった場合は、ビット反転判定フラグを除いた情報のビットを反転したものを検出した透かし情報として検出結果を出力する。
【０１５９】
ステップ５０６）  正位相を表すものであった場合は、検出情報からビット反転判定用フラグを除いた情報を検出した透かし情報とし、検出結果を出力する。
【０１６０】
なお、第３の実施の形態のように、埋め込み時の透かしパターン切り替え情報と、キャプチャ時のフレーム表示時刻を用いることで、現在の差分画像中の透かしパターンの位相を判定することも可能であるのは明らかである。
【０１６１】
＜本実施の形態の効果＞
本実施の形態の効果を図３６〜図３８を用いて説明する。
【０１６２】
電子透かし埋め込み時の変調方法が第１の実施の形態で述べた図１２の変調方法（Ａ−１）の場合、検出の際には差分画像の画素値から検出対象系列を得て、これと拡散系列との相関をとって、相関値の正負でビット値"０"、"１"を検出することになる。図３６に変調方法（Ａ−１）の場合の復調を説明する。変調によって得られた基本透かしパターンは適宜位相を反転して動画像のフレーム画像に埋め込まれる。透かし入り動画像が符号化されたり、アナログ表示をキャプチャしたりする過程で埋め込まれた透かしパターンには様々なノイズが加わることになるので、差分画像から得られる検出対象系列は、埋め込み時の変調された透かし情報と比較して信号が変化している。しかし、埋め込み時に用いた拡散系列との相関をとれば、ビット"１"に相当する区間の相関値は正の大きな値を取り、ビット"０"に相当する区間の相関値は負の大きな値を取るはずである。これによって埋め込まれたビット情報の復調を行うことになる。
【０１６３】
しかしながら、図３７に示すように、基本透かしパターンの位相は、透かしパターン切り替え部１２２によって時間方向で正位相・逆位相に切り替えられているので、例えば、図３７の（イ）と（ロ）のフレームから得られる差分画像を考えると、（イ）には基本透かしパターンの逆相、（ロ）には基本透かしパターンの同相が埋め込まれているので、（ロ）−（イ）で得られる差分画像は基本透かしパターンとして同相、即ち正位相となり、透かし情報は正しく検出できる。しかしながら、キャプチャのタイミングによっては（ハ）と（ニ）のフレームからの差分画像のケースも有り得る。この場合（ハ）は基本透かしパターンと同相、（ニ）は基本透かしパターンと逆相であるため、差分画像は基本透かしパターンの逆相の形となる。このとき、透かし検出を行うと、図３６で述べた検出対象系列の各項の値が正負逆転しているため、相関値の符号が反転してしまう。即ち、透かし情報"０１"を埋め込んだにも関わらず、そのビット反転である"１０"を正しく検出、といった問題が生じる。
【０１６４】
本実施の形態は、この問題を避けるためのものであり、図３８のように埋め込まれている透かし情報にビット反転判定フラグを追加している。これに検出時の透かし情報がビット反転してしまっているか否かを判定できる。即ち、差分画像が基本透かしパターンと同相であるか逆相であるかを判定できる。検出情報のビット反転フラグが正位相を表す値だった場合にはそのままビット値で透かし情報とし、逆相を表す値となっている場合は、検出情報のビット値を反転して透かし情報とすることで、キャプチャで得られた２枚のフレームの取り方によらず、常に正しい透かし情報を検出することができる。この方法は、極性利用型の変調方法であれば全て適用することが可能である。
【０１６５】
なお、第１の実施の形態で述べた変調方法（Ａ−２）〜（Ａ−４）、（Ｂ−２）〜（Ｂ−４）については、差分画像の画素値（の単純な総和）を元に検出対象系列を構成するものではなく、差分画像の取り方によらず常に一定の透かし情報を検出できる。また、変調方法（Ｂ−１）のように、相関値の正負で情報を表すものではなく、どの拡散系列と大きな相関絶対値を取ったかによって情報を変復調することが可能なタイプの変調方法では、差分画像が正位相の場合は正の相関値、逆相の場合は負の相関値が出ることについては（Ａ−１）と同様であるが、相関値の絶対値が大きいものを検出シンボルとすれば差分画像が正位相あるいは逆相であっても、常に問題なく検出ができるため、このような工夫は必要ない。まとめると以下のようになる。
【０１６６】
＜２次元パターン変復調の種別＞
（１）パターン振幅利用型：画像中のパターンの振幅を元に検出対象系列を構成するため、差分画像が反転すると検出対象系列が反転する（変調方法（Ａ−１），（Ｂ−１））
（２）パターン形状利用型：画像中のパターン形状を元に検出対象系列を構成するため、差分画像が反転しても検出対象系列が反転しない（変調方法（Ａ−２）〜（Ａ−４）、変調方法（Ｂ−２）〜（Ｂ−４））
＜スペクトラム拡散変復調の種別＞
（ａ）極性利用型：拡散系列との相関値の正負の極性で情報を表現している方法（変調方法（Ａ−１）〜（Ａ−４））
（ｂ）極性非利用型：複数の拡散系列のうちの最大絶対相関値をとる系列の種類によって情報を表現している方法（変調方法（Ｂ−１）〜（Ｂ−４））
差分画像が反転した場合にビット値が反転するのは（１）かつ（ａ）、すなわち例示した中では変調方法（Ａ−１）の場合のみである。
【０１６７】
［第５の実施の形態］
本実施の形態では、第４の実施の形態において用いた位相判定用フラグを用いずに位相同期信号の多重透かし埋め込みを用いる例を説明する。
【０１６８】
本実施の形態は、以下に説明する部分を除いて、前述の第１乃至第３の実施の形態と同一である。
【０１６９】
図３９は、本発明の第５の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。同図は、電子透かし埋め込み装置１００における透かしパターン生成部１２０の基本透かしパターン生成部１２１の処理の内容を示す。第１乃至第３の実施の形態における基本透かしパターン生成部１２１では、入力された透かし情報のみを基本透かしパターンに変調していた。本実施の形態では、入力された透かし情報のみではなく、検出時の差分画像の透かしパターンの位相を特定するための位相同期信号も埋め込まれるように基本透かしパターンを生成する。
【０１７０】
図３９の例では、変調方法（Ａ−１）を用いて第１乃至第３の実施の形態と同様に、基本透かしパターン（甲）を得て、さらに、常に"０"の値を取る位相同期信号を変調方法（Ｂ−１）で変調して得られる基本透かしパターン（乙）を位相判定用透かしパターンとして生成し、両者を重畳によって多重化したものを基本透かしパターンとして埋め込みに用いることとする。
【０１７１】
本実施の形態における電子透かし検出装置２００における電子透かし検出部２４０の処理の流れについて説明する。
【０１７２】
図４０は、本発明の第５の実施の形態における電子透かし検出部の動作のフローチャートである。
【０１７３】
ステップ６０１）  電子透かし検出部２４０は、差分画像を入力として、まず、第１乃至第３の実施の形態の場合と同様に差分画像からの電子透かし検出を試みる。
【０１７４】
ステップ６０２）  電子透かしが検出できない場合は、ステップ６０３に移行し、検出できた場合はステップ６０４に移行する。
【０１７５】
ステップ６０３）  次のフレームキャプチャに復帰する。
【０１７６】
ステップ６０４）  電子透かしが検出できた場合は、位相同期信号の検出を試みる。位相同期信号は変調方法（Ｂ−１）で埋め込まれているので、"０"を表す拡散系列との相関値の絶対値が大きければ位相同期信号を検出でき、相関値の正負の極性で差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相か逆相かを判定できる。
【０１７７】
ステップ６０５）  位相同期信号の検出時の相関値が正の場合は同相、負の場合は逆相と判定する。同相と判定した場合はステップ６０６に移行し、逆相と判定した場合はステップ６０７に移行する。
【０１７８】
ステップ６０６）  同相と判定した場合は、検出した透かし情報をそのまま検出結果として出力する。
【０１７９】
ステップ６０７）  逆相と判定した場合は、検出した透かし情報のビットを反転した上で検出結果として出力する。
【０１８０】
＜本実施の形態の効果＞
第４の実施の形態では透かし情報の一部をビット反転判定用フラグとして用いたのに対し、本実施の形態では、差分画像中の透かしパターンの位相を判定するための位相同期信号を透かし情報と共に多重化して埋め込んでいる。この際、位相同期信号がパターン振幅利用型かつ、極性非利用型の変調により埋め込まれるので、検出時に極性を用いて差分画像中の透かしパターンの位相を判別することができる。これにより、第４の実施の形態と同様にキャプチャで得られた２枚のフレームの取り方によらず、常に正しい透かし情報を検出することができる。
【０１８１】
また、第４の実施の形態と比較すると、ビット反転判定用フラグを用いないため、透かし情報のビット長を１ビット短くする必要がない。なお、パターン形状利用型であっても差分画像の反転を特定できるものなら位相同期信号埋め込みに用いても構わない。
【０１８２】
［第６の実施の形態］
本実施の形態では、差分画像中の透かしパターンの埋め込み時の基本透かしパターンと同相か否かを判定し、必要に応じて位相反転して蓄積する例を説明する。
【０１８３】
本実施の形態では、以下に説明する部分を除いて、第１〜第５の実施の形態と同一である。以下、説明を簡易にするため、第１の実施の形態との差分を述べる。
【０１８４】
図４１は、本発明の第６の実施の形態における電子透かし検出部の構成を示す。
【０１８５】
同図に示す電子透かし検出装置２００の電子透かし検出部２４０は、差分画像位相判定部２４１と透かし情報検出部２４２と差分画像蓄積バッファ２５５から構成される。
【０１８６】
図４２は、本発明の第６の実施の形態における電子透かし検出部の動作のフローチャートである。
【０１８７】
ステップ７０１）  差分画像位相判定部２４１は、差分画像が入力されると、入力された当該差分画像中の透かしパターンの位相を判別する。
【０１８８】
ステップ７０２）  差分画像位相判定部２４１は、入力された差分画像中の透かしパターンの位相が、埋め込み時の基本透かしパターンと同相か逆相かを判定する。同相であった場合はステップ７０３に移行し、逆相であった場合はステップ７０４に移行する。
【０１８９】
ステップ７０３）  同相であった場合は、今回入力された差分画像をそのまま差分画像蓄積バッファ２５５に加算し、ステップ７０５に移行する。
【０１９０】
ステップ７０４）  逆相であった場合は、今回入力された差分画像を位相反転させて差分画像蓄積バッファ２５５に加算する。
【０１９１】
ステップ７０５）  次に、透かし情報検出部２４２において、差分画像蓄積バッファ２５５に蓄積された加算された差分画像からの透かし情報の検出を試みる。
【０１９２】
ステップ７０６）  検出に成功した場合はステップ７０８に移行し、成功しなかった場合はステップ７０７に移行する。
【０１９３】
ステップ７０７）  成功しなかった場合は動画像入力部２１０において次のフレームキャプチャを行う処理に復帰する。
【０１９４】
ステップ７０８）  成功した場合は、検出結果を出力する。
【０１９５】
次に、差分画像位相判定部２４１について説明する。
【０１９６】
図４３は、本発明の第６の実施の形態における差分画像位相判定部の処理を説明するための図である。
【０１９７】
差分画像位相判定部２４１は、差分画像が入力されると、当該差分画像中の透かしパターンの位相が、埋め込み時の基本透かしパターンと同相か逆相かを判定する。判定の方法としては、差分画像から第４の実施の形態に示したビット反転判定フラグを検出し、その値で同相／逆相を判定する方法や、第５の実施の形態に示した位相同期信号を検出し、その値で同相／逆相を判定する方法などが有り得る。あるいは、第１の実施の形態の変調方法（Ｂ−１）のような、パターン振幅利用型かつ、極性非利用型の変調を用いて透かし情報を変調している場合は、各シンボル毎の検出処理において検出された絶対値最大の相関値の総和が、プラスの場合は同相、マイナスの場合は逆相と判別することなどが可能である。
【０１９８】
差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相だと判定した場合は、今回入力された差分画像をそのまま差分画像蓄積バッファ２５５に加算する。逆相だと判定した場合は、今回入力された差分画像の位相を反転させて差分画像蓄積バッファ２５５に加算する。位相反転するには、例えば輝度成分であれば画像全体の画素値の正負を逆転させたり、あるいは今回の差分画像を生成するのに用いた検出対象領域画像がＸ，Ｙの２枚で、今回の差分画像がＸ−Ｙで求められたのだとすると、位相反転するにはＹ−Ｘの差分画像を用いればよい。
【０１９９】
また、第３の実施の形態のように、埋め込み時の透かしパターン切り替え情報を用いて透かしパターン切り替えタイミングの同期が取れる場合には、切り替えタイミングから、例えば、隣あった透かしパターンの切り替えは逆相になるが、一つおきなら同相になるという原理を利用して、以下の差分画像蓄積時に全て同相となるように一つおきに位相反転しながら蓄積すればよい。
【０２００】
上記の処理によって図４４に示すように、差分画像蓄積バッファ２５５には、常に基本透かしパターンと同相な透かしパターンを持つ差分画像が次々に加算されていることになる。なお、ここで、「差分画像を加算」とは、画像の各座標毎の画素値を加算して得られる同サイズの画像を得ることを指す。
【０２０１】
なお、前述の第３の実施の形態を利用した蓄積の場合、差分画像蓄積バッファ２５５に蓄積された結果は、埋め込み時の基本透かしパターンと同相あるいは逆相のいずれかの状態がそろった形で加算されたものとして得られるが、差分画像蓄積バッファ２５５からの検出に第４の実施の形態または、第５の実施の形態のような工夫を用いれば、逆相による問題を回避できる。
【０２０２】
＜本実施の形態の効果＞
本実施の形態では、差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相か否かを判定し、必要に応じて位相反転することで、差分画像蓄積バッファ２５５に常に正位相な状態で順次加算を行い、加算された差分画像から透かし情報検出を試行している。
【０２０３】
これにより、１枚の差分画像中の透かしパターンが微弱で十分に検出できない場合でも、複数の差分画像を統合して検出を行うこととなるので、検出が可能となる。図４４に示すとおり、透かしパターンは常に正位相な形で加算されていくので、差分画像蓄積バッファ２５５には原理上加算した回数分増幅された透かしパターンが得られる。しかし、一般に原動画像の差分は各々のタイミングで異なるので、透かしパターンに対するノイズである原動画像の差分信号は加算回数分増幅されない。これによって透かし信号のＳ／Ｎ比が向上し、第１乃至第５の実施の形態と比べて電子透かしの耐性が向上する。
【０２０４】
また、この耐性向上を、画質劣化を抑えるように用いることもできる。即ち、第１乃至第５の実施の形態のように１枚の差分画像から検出を可能とするための透かし埋め込み強度よりさらに弱い強度でも差分画像蓄積によって検出ができるため、画質改善を実現できる。
【０２０５】
［第７の実施の形態］
本実施の形態では、１枚の差分画像からは十分な検出性能が得られない場合でも検出可能とする方法について説明する。
【０２０６】
本実施の形態は、以下に説明する部分を除いて、第１乃至第６の実施の形態と同一である。以下、説明を簡易にするため、第１の実施の形態との差分を述べる。
【０２０７】
図４５は、本発明の第７の実施の形態における電子透かし検出部の構成を示す。
【０２０８】
同図に示す電子透かし検出装置２００の電子透かし検出部２４０は、相関演算部２４３と、検出可否判定部２４４及び、相関値バッファ２４５を有する。
【０２０９】
図４６は、本発明の第７の実施の形態における電子透かし検出部の動作のフローチャートである。
【０２１０】
ステップ８０１）  電子透かし検出部２４０は、差分画像を入力とし、相関演算部２４３において、通常の電子透かし検出処理と同様に差分画像から検出対象系列を得て、拡散系列との相関値を求める。なお、この際、入力された差分画像のみから透かし情報の検出が成功した場合は、透かし情報を検出結果として出力して処理を終了してもよい。相関値は変調方法（Ａ−１）〜（Ａ−４）のようなビット毎拡散方式であれば透かし情報のビット数分、変調方法（Ｂ−１）〜（Ｂ−４）のようなシンボル毎拡散方式であればシンボル数×シンボル値の値域分得られる。
【０２１１】
ステップ８０２）  相関演算部２４３で得られた相関値群は相関値バッファ２４５に各項加算される。
【０２１２】
ステップ８０３）  次に、検出可否判定部２４４において、相関値バッファ２４５に格納された相関値群に対して閾値判定を行い、透かし情報の検出可否の判定を行う。
【０２１３】
ステップ８０４）  検出できた場合はステップ８０６に移行し、検出できない場合はステップ８０５に移行する。
【０２１４】
ステップ８０５）  透かし情報の検出ができない場合は、動画像入力部２１０の次のフレームキャプチャに復帰する。
【０２１５】
ステップ８０６）  閾値判定にパスしたら、検出成功として相関値バッファ２４５の内容を元に検出した透かし情報を構成して検出結果を出力する。
【０２１６】
次に、相関値バッファ２４５に関する処理の内容を説明する。
【０２１７】
図４７は、本発明の第７の実施の形態における相関値バッファに関する処理の内容を説明するための図である。
【０２１８】
相関演算部２４３では、差分画像から検出対象系列を取り出し、変調時に用いた拡散系列との相関を計算する。変調方法（Ａ−１）〜（Ａ−４）のようなビット毎拡散方式であれば、透かし情報のビット数分、変調方法（Ｂ−１）〜（Ｂ−４）のようなシンボル毎拡散方式であれば、シンボル数×シンボル値の値域分得られる（図４７では１シンボル＝１ビット、各シンボル毎に"０"または"１"の２値をとるようなシンボルが４つある例を示す）。
【０２１９】
変調方法（Ａ−１）のように差分の位相によってビットが反転する可能性があるものについては、第４の実施の形態、または、第５の実施の形態のような方法で正位相に揃えてから相関をとるようにする。また、変調方法（Ｂ−１）〜（Ｂ−４）の場合は、差分の位相が反転している場合は相関値がマイナスをとるので、絶対値化しておく。相関演算部２４３で得られた相関値群は、相関値バッファ２４５に各相関値の項ごとに加算される。
【０２２０】
また、第３の実施の形態のように、埋め込み時の透かしパターン切り替え情報を用いて透かしパターン切り替えタイミングの同期がとれる場合には、切り替えタイミングから、例えば、隣り合った透かしパターンの切り替えは逆相になるが、一つおきなら同相になる、という原理を利用して、一つおきに相関値の極性を反転させて蓄積することで常に相関値の極性を揃えて加算蓄積することもできる。
【０２２１】
図４８Ａ、Ｂは、本発明の第７の実施の形態における相関値バッファに関する処理の内容を説明するための図である。
【０２２２】
検出可否判定部２４４は、相関値バッファ２４５に蓄えられた相関値に対して閾値判定を行い、検出成功か否かを判定する。変調方法（Ａ−１）〜（Ａ−４）のようなビット毎拡散方式の場合は、各ビット位置毎の相関値の絶対値がすべて閾値以上なら検出成功と判定したり、図４８Ａ、Ｂのように各ビット位置毎の相関値の絶対値和をとり、その結果に対して閾値判定をしてもよい。また、変調方法（Ｂ−１）〜（Ｂ−４）のようなシンボル毎拡散方式であれば、各シンボル位置毎の相関値の最大値がすべて閾値以上なら検出成功と判定する、などとすればよい。なお、閾値の値を相関値蓄積バッファ２４５への加算回数に応じて変化させたり、閾値判定前に相関蓄積バッファ２４５の各項値を加算回数で割り算するなどを適宜行うものとする。
【０２２３】
なお、上記の第３の実施の形態を利用した蓄積の場合、相関値バッファ２４５に蓄積された結果に対して、第４の実施の形態、または、第５の実施の形態のような工夫を用いれば、極性反転による問題を回避できる。
【０２２４】
＜本実施の形態の効果＞
本実施の形態では、差分画像からの検出の際に算出される相関値について加算蓄積した結果を元に検出可否を判定している。これにより、１回の検出試行では検出が困難であった場合でも、複数枚の差分画像からの検出結果を統合することにより検出可能とすることができ、検出性能が向上する。
【０２２５】
［第８の実施の形態］
本実施の形態では、以下に説明する部分を除いて、前述の第１乃至第７の実施の形態と同一である。以下、説明を簡単にするため第１の実施の形態との差分を述べる。
【０２２６】
図４９は、本発明の第８の実施の形態における透かしパターン生成部の構成を示す。同図に示す電子透かし埋め込み装置１００の透かしパターン生成部１２０は、基本透かしパターン生成部１２１、透かしパターン切り替え部１２２、透かし情報分解部１２３から構成される。
【０２２７】
図５０は、本発明の第８の実施の形態における透かしパターン生成部の動作のフローチャートである。
【０２２８】
ステップ９０１）  透かしパターン生成部１２０に透かし情報、透かしパターン切り替え情報、フレーム表示時刻が入力されると、透かし情報分解部１２３において、透かし情報をより短いビット情報であるデータブロック情報に細分する。
【０２２９】
ステップ９０２）  透かし情報分割部１２３は、フレーム表示時刻を参照して今回のフレーム画像に埋め込むべきデータブロックが何番目かを示すデータブロックＩＤと、当該データブロックＩＤのデータブロックのビット情報であるデータブロック情報を基本透かしパターン生成部１２１に送る。
【０２３０】
ステップ９０３）  基本透かしパターン生成部１２１では、データブロックＩＤとデータブロック情報から基本透かしパターンを生成する。
【０２３１】
ステップ９０４）  最後に、透かしパターン切り替え部１２２において、フレーム表示時刻と透かしパターン切り替え情報の関係から、基本透かしパターンの位相反転の要否を判定する。
【０２３２】
ステップ９０５）  基本透かしパターンの位相反転が必要である場合は、ステップ９０６に移行し、必要でない場合にはステップ９０７に移行する。
【０２３３】
ステップ９０６）  必要がある場合には基本透かしパターンの位相を変更し、透かしパターンとして出力し、処理を終了する。
【０２３４】
ステップ９０７）  基本透かしパターンとして出力し、処理を終了する。
【０２３５】
次に、透かし情報分割部１２３について詳細に説明する。
【０２３６】
図５１は、本発明の第８の実施の形態における透かし情報分割部の処理を説明するための図である。
【０２３７】
同図の例では、透かしパターン切り替え情報が「１／１０秒毎に反転」を指示するものであるとし、原動画像データが３０フレーム／秒のフレームレートであるとし、透かし情報が１６ビットであるとしている。透かし情報分割部１２３は、透かし情報を予め定めたビット長のデータブロックに分割する。図５１の例では、１６ビットの透かし情報を４ビットのデータブロック４つに分割している。
【０２３８】
また、各データブロックが何番目のものかを表すデータブロックＩＤを（図５１のａ，ｂ，ｃ，ｄ）を同時に取得する。そして透かしパターン切り替え情報を参照しながら、今回のフレームに埋め込むべきデータブロックを選択し、選択されたデータブロック情報とデータブロックＩＤを基本透かしパターン生成部１２１に送る。図５１の例では、「透かしパターン反転一周期（６／３０秒）毎にデータブロックを切り替え」という処理の内容を示しており、６フレーム毎にデータブロックを切り替えている。
【０２３９】
なお、データブロックが最後のデータブロックまで到達した場合は、先頭に戻って循環的に選択を行う。また、最後のデータブロックを選択した場合は、透かし情報の終端であることを示す終端情報も基本透かしパターン生成部１２１に送るようにしてもよい。
【０２４０】
図５１では、透かしパターンの一反転周期毎にデータブロックを順次切り替える例を示しているが、３反転周期毎にする、反転周期と別のデータブロック切り替え周期毎とする、データブロックの切り替えを順次ではなくランダムに選択するなど、様々なバリエーションが有り得る。
【０２４１】
次に、基本透かしパターン生成部１２１について説明する。
【０２４２】
図５２Ａ、Ｂは、本発明の第８の実施の形態における基本透かしパターン生成部の処理を説明するための図である。
【０２４３】
基本透かしパターン生成部１２１は、第１乃至第６の実施の形態とは異なり、透かし情報そのものではなく、透かし情報を細分したデータブロックと該データブロックの順番を表すデータブロックＩＤを変調して基本透かしパターンを生成する。
【０２４４】
また、透かし情報分割部１２３から最後のデータブロックを表す終端情報を受け付けた場合は、 "１"にするなどして、検出時にデータブロックの終端の判別ができるようしてもよいが、常に固定のデータブロック数、例えば、４つのみを前提としている場合には不要である。
【０２４５】
また、第４乃至第６の実施の形態のように、検出時の差分画像の位相を判別するための情報の埋め込みを同時に行ってもよい。
【０２４６】
図５３は、本発明の第８の実施の形態における電子透かし検出装置の構成を示す。
【０２４７】
同図に示す電子透かし検出装置２００Ｄと第１の実施の形態における装置２００Ａとの差異は、電子透かし検出部２４０以降の処理である。
【０２４８】
図５４は、本発明の第８の実施の形態における電子透かし検出装置の動作のフローチャートである。
【０２４９】
ステップ１００１）  動画像入力部２１０において、動画像をキャプチャしてフレーム画像を順次取得する。
【０２５０】
ステップ１００２）  検出対象領域抽出部２２０において、現在キャプチャしたフレーム画像中の検出対象領域画像を抽出する。
【０２５１】
ステップ１００３）  差分画像生成部２３０において、現在取得した検出対象領域画像と、以前に取得した検出対象領域画像との差分画像を生成する。
【０２５２】
ステップ１００４）  電子透かし検出部２４０は、第１の実施の形態と同様に差分画像からの電子透かし検出試行により、埋め込まれている情報の検出を試みる。
【０２５３】
ステップ１００５）  検出成功した場合は、ステップ１００６に移行する、検出成功しなかった場合はステップ１００１に移行する。
【０２５４】
ステップ１００６）  検出成功した場合、第１の実施の形態とは異なり、検出した情報は透かし情報そのものではなく、その一部であるデータブロック情報と対応するデータブロックＩＤであるので、これらの情報を検出データブロック蓄積部２８０に送る。検出データブロック蓄積部２８０は、今回検出したデータブロックＩＤで示される位置の検出透かし情報バッファのデータ値に、検出データブロック情報の値を設定する。
【０２５５】
ステップ１００７）  全ての検出透かし情報バッファ中のデータブロックの検出が成功したらステップ１００８に移行する。電子透かし検出部２４０で差分画像からの電子透かし検出に失敗したり、検出データブロック蓄積部２８０において未だバッファリングされていないデータブロックが存在する場合は、動画像入力部２１０におけるキャプチャに復帰し、検出処理を続行する。
【０２５６】
ステップ１００８）  検出透かし情報バッファの値を、検出した透かし情報として検出結果を出力する。
【０２５７】
図５５は、本発明の第８の実施の形態における検出データブロック蓄積部の構成を示す。同図に示す検出データブロック蓄積部２８０は、検出データブロックバッファリング部２８１、検出完了確認部２８２、検出透かし情報バッファ２８３を有する。
【０２５８】
上記の検出データブロック蓄積部２８０の動作を説明する。
【０２５９】
図５６は、本発明の第８の実施の形態における検出データブロック蓄積部の動作のフローチャートである。図５７、図５８は、検出データブロック蓄積部の処理の内容を示す。
【０２６０】
ステップ１１０１）  検出データブロック蓄積部２８０は、検出データブロックＩＤと、検出データブロック情報が入力される。
【０２６１】
ステップ１１０２）  まず、検出透かしデータブロックバッファリング部２８１において、検出透かし情報バッファ２８３中の、入力された検出データブロックＩＤで示されるデータ位置のデータ値を、入力された検出データブロック情報の値にセットする。
【０２６２】
検出透かし情報バッファ２８３は、図５７のように、初期状態では全てのデータブロックＩＤのデータブロックが未検出という状態になっており、検出データブロックＩＤ及び検出データブロック情報が入力される度に、順次未検出から検出済みの状態に変化する。なお、既に検出済みのデータブロックＩＤが入力された場合は、検出透かし情報バッファ２８３の当該データブロックＩＤのデータ値を、検出データブロック情報で上書してもよいし、上書きせずに何もしなくても構わない。
【０２６３】
図５７は、データブロックの個数が予め定まっている場合の処理の内容を示している。また、埋め込みの際にデータブロックの終端フラグを埋め込んでいるような場合、図５８のように、初期状態では、データブロックが全部で何個あるのかは分からない。しかし、終端フラグの立っているデータブロックＩＤを入力すると、全部で何個のデータブロックであるかが判明するので、未検出のデータブロックを特定することができる。これ以降は、データブロックの個数が定まっている場合の処理と同様に処理すればよい。終端情報を利用することで、任意長の透かし情報の埋め込み・検出を取り扱うことが可能となる。
【０２６４】
ステップ１１０３）  次に、検出完了確認部２８２において、検出透かし情報バッファ２８３中の全てのデータブロックが検出済みとなったか否かを判定し、全て検出済みとなった場合はステップ１１０４に移行し、未検出のデータブロックが残っている場合にはステップ１１０５に移行する。
【０２６５】
ステップ１１０４）  全て検出済みとなった場合は、検出透かし情報バッファ２８３のデータ値を検出した透かし情報として検出結果を出力する。
【０２６６】
ステップ１１０５）  未検出のデータブロックが残っている場合には、動画像入力部２１０のフレームキャプチャに復帰し、検出試行を続行する。
【０２６７】
なお、本実施の形態では、主に、第１の実施の形態との差分を述べたが、本実施の形態の工夫を、第２乃至第７の実施の形態の工夫と組み合わせて実施することが容易であるのは自明である。例えば、データブロック毎に、第６の実施の形態のように差分画像を蓄積したり、第７の実施の形態のように相関値を蓄積したりして検出することで検出性能が向上することなどは自明である。
【０２６８】
＜本実施の形態の効果＞
本実施の形態では、透かし情報をデータブロックに分割して時間的にデータブロックを切り替えながら透かし埋め込みを行い、検出側では検出したデータブロックを順次蓄積し、全てのデータブロックの検出済みとなった場合に透かし検出成功としている。これにより、一枚の差分画像に対する透かしアルゴリズムの埋め込み情報長限界を超えた、より長い情報長の透かし情報の埋め込み・検出が可能となる、あるいは、各フレームの埋め込む情報長を減らして耐性向上を実現することができる。
【０２６９】
また、終端情報の埋め込み・検出により、任意長の情報を取り扱うことができ、より長い情報を必要とするアプリケーションが実現できるなど、利用範囲が広がる。
【０２７０】
［第９の実施の形態］
本実施の形態では、データブロックＩＤをパターン振幅利用型かつ、極性非利用型の変調で透かし情報に多重化して埋め込みを行う例を説明する。
【０２７１】
本実施の形態は、以下に説明する部分を除いて、前述の第８の実施の形態と同一である。
【０２７２】
本実施の形態における電子透かし埋め込み装置内１００の基本透かしパターン生成部１２１の処理の内容を説明する。
【０２７３】
図５９は、本発明の第９の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。
【０２７４】
本実施の形態では、基本透かしパターンの入力であるデータブロック情報とデータブロックＩＤについて、まず、データブロック情報について第５の実施の形態と同様に、変調方法（Ａ−１）で変調して基本透かしパターン（甲）を得る。
【０２７５】
次に、データブロックＩＤについては、第５の実施の形態の位相同期信号（常に同じ値）の代わりに、多値のデータブロックＩＤ（必要ならデータブロック終端情報も合わせて）を変調方法（Ｂ−１）を用いて基本透かしパターン（乙）を得る。
【０２７６】
最後に基本透かしパターン（甲）と基本透かしパターン（乙）を重畳して合成し、基本透かしパターンを得る。
【０２７７】
図６０は、本発明の第９の実施の形態における電子透かし検出部の動作のフローチャートである。
【０２７８】
ステップ１２０１）  電子透かし検出部２４０は、差分画像を入力として、まず、第８の実施の形態の場合と同様に差分画像からのデータブロック情報検出を試みる。
【０２７９】
ステップ１２０２）  データブロック情報が検出できた場合は、ステップ１２０４に移行し、検出できなかった場合は、ステップ１２０３に移行する。
【０２８０】
ステップ１２０３）  動画像入力部２１０の次のフレームキャプチャに復帰する。
【０２８１】
ステップ１２０４）  データブロック情報が検出できた場合は、続いて、データブロックＩＤの検出を試みる。
【０２８２】
ステップ１２０５）  データブロックＩＤは変調方法（Ｂ−２）で埋め込まれているので、まず、相関演算の絶対値を用いてデータブロックＩＤを検出することができ、そのときの相関値の正負の極性で差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相か逆相かを判定できる。データブロックＩＤの検出時の相関値が正の場合は、正位相、負の場合は逆相と判定する。正位相と判定した場合はステップ１２０７に移行し、逆相と判定した場合は、ステップ１２０６に移行する。
【０２８３】
ステップ１２０６）  逆相の場合は、検出したデータブロック情報のビットを反転した上で、データブロックＩＤと共に出力する。
【０２８４】
ステップ１２０７）  正位相と判定した場合は、検出したデータブロック情報をそのままとし、データブロックＩＤと共に出力する。
【０２８５】
なお、本実施の形態では、第８の実施の形態と同様に、本実施の形態の工夫を第１乃至第７の工夫と組み合わせて実施することが容易であるのは自明である。例えば、データブロック毎に第６の実施の形態のように差分画像を蓄積したり、第７の実施の形態のように相関値を蓄積したりして検出することで検出性能が向上することなどは自明である。
【０２８６】
＜本実施の形態の効果＞
本実施の形態では、データブロックＩＤをパターン振幅利用型かつ、極性非利用型の変調で透かし情報に多重化して埋め込みを行っている。これにより、各フレームに埋め込まれるデータブロック情報の情報長を長くできる。
【０２８７】
さらに、データブロックＩＤ検出時の相関の極性を利用して透かしパターンの位相判定を行えるため、別途ビット反転判定用のフラグなどを用意する必要もなく、さらに、情報長の拡大に寄与できる。即ち、データブロックＩＤの極性非利用型変調を用いることにより、データブロックＩＤの検出と同時に透かしパターンの位相判定も可能となるので、一石二鳥である。
【０２８８】
なお、パターン形状利用型であっても差分画像の反転を特定できるものならデータブロックＩＤ埋め込みに用いて構わない。
【０２８９】
［第１０の実施の形態］
本実施の形態では、位相を合わせた差分画像蓄積を行う例を説明する。
【０２９０】
本実施の形態は、以下に説明する部分を除いて、第１乃至第９の実施の形態と同一である。以下、説明を簡易にするため第８の実施の形態との差分を述べる。
【０２９１】
本実施の形態における電子透かし検出装置２００内の電子透かし検出部２４０について説明する。
【０２９２】
図６１は、本発明の第１０の実施の形態における電子透かし検出部の構成を示す。
【０２９３】
同図に示す電子透かし検出部２４０は、差分画像位相判定部２４１、データブロックＩＤ検出部２４６、データブロック情報検出部２４７、及び複数のデータブロックＩＤ＝ｎ用差分画像蓄積バッファ２４８から構成される。
【０２９４】
図６２は、本発明の第１０の実施の形態における電子透かし検出部の動作のフローチャートである。
【０２９５】
ステップ１３０１）  電子透かし検出部２４０は、差分画像が入力されると、データブロックＩＤ検出部２４６において、データブロックＩＤの検出を試みる。
【０２９６】
ステップ１３０２）  次に、差分画像位相判定部２４１において、差分画像中の透かしパターンの位相を前述の第６の実施の形態のようにして検出する。
【０２９７】
ステップ１３０３）  差分画像位相判定部２４１は、正位相である場合は、ステップ１３０４に移行し、逆位相である場合はステップ１３０５に移行する。
【０２９８】
ステップ１３０４）  正位相である場合は、今回の差分画像を検出データブロックＩＤに対応する差分画像バッファ２４８に加算し蓄積し、ステップ１３０６に移行する。
【０２９９】
ステップ１３０５）  逆位相である場合は、正位相となるように差分画像を変更した上で、検出データブロックＩＤに対応する差分画像バッファ２４８に蓄積する。図６１に示すように、電子透かし検出部２４０は、差分画像バッファ２４８をデータブロックＩＤの種類分有している。
【０３００】
ステップ１３０６）  次に、データブロック情報検出部２４７において、今回検出したデータブロックＩＤに対応する差分画像蓄積バッファ２４８からのデータブロック情報の検出を試みる。
【０３０１】
ステップ１３０７）  検出成功した場合は、ステップ１３０８に移行し、検出成功しなかった場合は、ステップ１３０９に移行する。
【０３０２】
ステップ１３０８）  検出成功した場合は、今回のデータブロックＩＤと検出したデータブロック情報を出力する。
【０３０３】
ステップ１３０９）  検出成功しなかった場合は、動画像入力部２１０のキャプチャ処理に復帰する。
【０３０４】
＜本実施の形態の効果＞
本実施の形態によれば、データブロックを用いた透かし情報長拡大時に、差分画像蓄積による耐性向上も同時に実現でき、検出性能が向上する。
【０３０５】
［第１１の実施の形態］
本実施の形態では、相関値を蓄積する例を説明する。
【０３０６】
本実施の形態は、以下に説明する部分を除いて、第１乃至第１０の実施の形態と同一である。以下、説明を簡易にするため第８の実施の形態との差分を述べる。
【０３０７】
図６３は、本発明の第１１の実施の形態における電子透かし検出部の構成を示す。
【０３０８】
同図に示す電子透かし検出部２４０は、データブロックＩＤ検出部２４６、検出可否判定部２４４、相関演算部２４９、データブロックＩＤ＝ｎ用相関値バッファ２５１を有する。同図に示すように、電子透かし検出部２４０は、データブロックＩＤ＝ｎ用相関値バッファ２５１をデータブロックＩＤの種類分持っている。
【０３０９】
上記の構成の電子透かし検出部２４０の動作を説明する。
【０３１０】
図６４は、本発明の第１１の実施の形態における電子透かし検出部の動作のフローチャートである。
【０３１１】
ステップ１４０１）  電子透かし検出部２４０は、差分画像が入力されると、まず、データブロックＩＤ検出部２４６において、データブロックＩＤの検出を試みる。
【０３１２】
ステップ１４０２）  次に、相関演算部２４９において、データブロック情報検出試行を行うことで算出される相関値を求める。
【０３１３】
ステップ１４０３）  求められた相関値を検出データブロックＩＤに対応する相関値バッファ２５１に加算蓄積する。なお、この際、入力された差分画像のみからデータブロック情報の検出が成功した場合は、データブロックＩＤと共に出力して処理を終了してもよい。
【０３１４】
ステップ１４０４）  次に、検出可否判定部２４４において、今回検出したデータブロックＩＤに対応する相関値バッファ２５１について、第７の実施の形態と同様に閾値判定によりデータブロック情報の検出可否を判定する。
【０３１５】
ステップ１４０５）  検出可能と判定した場合はステップ１４０６に移行し、検出成功しなかった場合は、ステップ１４０７に移行する。
【０３１６】
ステップ１４０６）  検出可能と判定された場合には、今回の相関値バッファ２５１の値からデータブロック情報を構成し、今回のデータブロックＩＤと共に出力する。
【０３１７】
ステップ１４０７）  検出成功しなかった場合は、動画像入力部２１０のキャプチャ処理に復帰する。
【０３１８】
＜本実施の形態の効果＞
本実施の形態によれば、データブロックを用いた透かし情報長拡大時に、相関値バッファ２５１による耐性向上も同時に実現でき、検出性能が向上する。
【０３１９】
［第１２の実施の形態］
本実施の形態では、電子透かし検出処理の状況をリアルタイムにフィードバック出力する例を説明する。
【０３２０】
本実施の形態は、以下に説明する部分を除いて、第１乃至第１１の実施の形態と同一である。以下説明を簡易にするため第１の実施の形態との差分を述べる。
【０３２１】
図６５は、本発明の第１２の実施の形態における電子透かし検出装置の構成を示す。同図に示す電子透かし検出装置２００Ｅと第１の実施の形態との相違は、現在のキャプチャフレーム画像、現在の検出対象領域抽出状況情報、現在の電子透かし検出の検出状況情報を随時入力し、第１の実施の形態相当の電子透かし検出処理と並列にフィードバック情報を生成し出力するフィードバック出力部２６５を有する点である。
【０３２２】
図６６は、本発明の第１２の実施の形態における電子透かし検出装置の動作のフローチャートである。
【０３２３】
同図において、ステップ１５０１〜ステップ１５０６は、図２０のステップ２０１〜ステップ２０６の処理と同様であるので説明は省略するが、以下のステップ１５０７の処理をこれらの処理と並列に行うものである。
【０３２４】
ステップ１５０７）  フィードバック出力部２６５において、現在フレーム画像、現在の検出対象領域抽出状況情報、現在の電子透かし検出の検出状況情報を随時入力し、第１の実施の形態相当の電子透かし検出処理と並列にフィードバック情報を生成し出力する。
【０３２５】
図６７，６８，６９は、本発明の第１２の実施の形態における電子透かし検出装置のフィードバック出力の例である。
【０３２６】
電子透かし検出装置２００Ｅの動画像入力部２１０で得られたキャプチャフレーム画像をリアルタイムに描画するプレビュー画面を持ち、検出対象領域抽出部２２０で得られた検出対象領域をプレビュー画面上に合成し（図６７のａ）、電子透かし検出部２４０で得られた検出強度、例えば、復調時の相関値の大きさをグラフィカルに表示したり（図６７のｂ）、検出強度に応じて音色や音量を変えて音声出力したりする。
【０３２７】
また、データブロックを用いている場合には、図６８のように現在までにバッファリングできたデータブロックの検出状況を合成したりする。
【０３２８】
あるいは、図６９のように、撮影角度によって生じる平面射影歪みの程度がきつかったり、離れた位置から撮影しているため、キャプチャフレーム画像中の検出対象領域の画素面積が小さすぎたりして、電子透かしの検出が困難になっている場合には、撮影角度の調整や、ズームアップが必要であるというメッセージを表示し、ユーザに調整を促すようにしたりする。
【０３２９】
＜本実施の形態の効果＞
本実施の形態では、電子透かし検出処理の状況を、リアルタイムにフィードバック出力することで、インタラクティブ性が増すことによって利便性が向上する。特に、検出しやすい状況になるようにユーザを促すことにより、検出性能の向上が期待できる。
【０３３０】
［第１３の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１乃至第１２の実施の形態と同一である。以下、説明を簡易にするために第１の実施の形態との差分を述べる。
【０３３１】
本実施の形態における電子透かし埋め込み装置１００内の透かしパターン重畳部１３０の処理について説明する。
【０３３２】
図７０は、本発明の第１３の実施の形態における透かしパターン重畳部の処理を説明するための図である。
【０３３３】
透かしパターン重畳部１３０は、フレーム画像と、当該フレーム表示時刻に基づいて生成された透かしパターンを入力する。透かしパターン重畳部１３０では、まず、透かしパターンをフレーム画像以下の所与のサイズまでサイズ変更して、その後フレーム画像の中央領域に加算して、透かし入りフレーム画像を得る。
【０３３４】
次に、本実施の形態における電子透かし検出装置２００Ｆについて説明する。
【０３３５】
図７１は、本発明の第１３の実施の形態における電子透かし検出装置の構成を示す。
【０３３６】
同図に示す電子透かし検出装置２００Ｆは、テレビなどにディスプレイ表示されたアナログ動画像をカメラによりリアルタイムビデオキャプチャしたものや、あるいは、MPEGエンコードされたようなディジタル動画像が入力される動画像入力部２１０、差分画像生成部２３０、検出対象領域抽出部２２０、電子透かし検出部２４０、及びフレーム画像バッファ３０１から構成される。
【０３３７】
上記の構成における動作を説明する。
【０３３８】
図７２は、本発明の第１３の実施の形態における電子透かし検出装置の動作のフローチャートである。
【０３３９】
ステップ１５０１）  動画像入力部２１０において、アナログまたはディジタル動画像を入力し、順次フレーム画像を取得する。アナログ動画像の入力の際はカメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。
【０３４０】
ステップ１５０２）  次に、差分画像生成部２３０において、現在取得したフレーム画像と、フレーム画像バッファ３０１に蓄積されている、以前に取得したフレーム画像との差分を取り、差分フレーム画像を生成する。
【０３４１】
ステップ１５０３）  また、次の検出試行に備えて、フレーム画像バッファ３０１に今回のフレーム画像をバッファリングしておく。
【０３４２】
ステップ１５０４）  次に、検出対象領域抽出部２２０において、差分フレーム画像中の、透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。
【０３４３】
ステップ１５０５）  続いて、電子透かし検出部２４０において、検出対象領域画像から電子透かし検出を試み、検出結果を出力する。
【０３４４】
ステップ１５０６）  電子透かし検出が成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す。
【０３４５】
次に、上記の差分画像生成部２３０の処理を詳細に説明する。
【０３４６】
図７３は、本発明の第１３の実施の形態における差分画像生成部の処理を説明するための図である。
【０３４７】
差分画像生成部２３０は、現在取得したフレーム画像と、フレーム画像バッファ３０１に蓄積されている、以前に取得したフレーム画像との差分を取り、差分フレーム画像を生成する。ここで、上記２枚のフレーム画像を撮影しているときのカメラの動きが殆ど無いとする。図７３のように、差分フレーム画像では透かしパターンの切り替えによって生じた差分の変化の大きい部分と、変化の無い背景部分が区別可能となる。
【０３４８】
次に、検出対象領域抽出部２２０の処理を詳細に説明する。
【０３４９】
図７４は、本発明の第１３の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【０３５０】
検出対象領域抽出部２２０は、差分フレーム画像を入力とし、差分フレーム画像中の、透かし検出の対象となる検出対象領域を抽出して、検出対象領域画像を取得する。図７４では、差分フレーム画像を絶対値化して、文献３の縁検出方法を用いて検出対象領域の歪みパラメータを検出し、絶対値化する前の元の差分フレーム画像の歪み補正、サイズ正規化を行って検出対象領域画像としている。このようにして得られた検出対象領域画像は埋め込み時の基本透かしパターンとノイズによる影響などを除いて同一であるから、電子透かしの検出が可能になることは、第１乃至第１２の実施の形態の内容から明らかである。
【０３５１】
また、本実施の形態は、第１乃至第１２の各々の工夫を任意に組み合わせても実施できることも自明である。
【０３５２】
＜本実施の形態の効果＞
本実施の形態における効果を図７５〜図７７を用いて説明する。
【０３５３】
まず、第１乃至第１２の実施の形態における電子透かし埋め込みにおいては、入力された動画像のフレームサイズと同じサイズの透かしパターンが重畳されていた。また、電子透かし検出時は、カメラでキャプチャしたフレーム中のテレビ受像機の表示領域の縁を検出するなどして検出対象領域を抽出していた。しかし、図７５に示すように、テレビ受像機の形状など動画像の再生環境は一定ではないことが考えられるため、図７５（Ａ）のように、正しく表示画面領域を検出対象領域として抽出した場合は電子透かしの検出に成功するが、図７５（Ｂ）の例のようにテレビ受像機の外側を縁検出してしまったり、図７５（Ｃ）の例のようにテレビ受像機の表示画面の外側に付けられた枠状の意匠を検出してしまったりして、検出対象領域を正しく抽出できないことが有り得る。
【０３５４】
この場合、差分画像上では透かしパターン差分画像の内側に縮小された形になってしまい、正しくブロック分割ができないことから第１乃至第１２の方法では、電子透かしの検出に失敗してしまう。
【０３５５】
また、図７６の例に、もともとの動画像がアスペクト比１６：９のワイド映像であったとし、これをアスペクト比４：３のモニタに表示することを考える。この場合、一般によく用いられる表示の仕方として、ワイド画面の左右の端を切り取って表示したり、あるいは、１６：９のワイド画面が４：３の画面に収まるように縮小して画面上に押し込める、といったことがある。このようにして表示された場合に、検出対象領域抽出によって表示画面の縁が正しく検出できたとしても、そもそも表示されている映像自体が一部切り取られていたり、余計な余白がついていたりするため、図７５の例と同様に、電子透かし検出に失敗してしまう。また、画面の端が切り取られるという問題については、ワイド映像のみならず、例えば、ブラウン管表示の際に、映像信号の端の部分はそもそも表示されないという、いわゆるオーバースキャンによって映像信号の一部が切り取られ、電子透かしの検出が困難になることが考えられる。
【０３５６】
本実施の形態は、この問題を解決するためのものであり、透かしパターンをフレーム画像のサイズよりも小さくし、フレーム画像の中央領域に重畳する。これによって、例えば、ワイド画面を４：３表示する際のフレーム画像の欠けを見込んで、確実に表示される領域のみに透かしパターンを重畳することができる。しかしこのままでは検出時に検出対象領域と透かしパターンの領域が一致しない。このため、本実施の形態では、図７３のように、キャプチャしたフレーム画像間の差分フレーム画像を生成し、図７４のように差分フレーム画像から検出対象領域を抽出するようにする。カメラ撮影時にカメラの動きが殆どないとすると、差分フレーム画像では透かしパターンの切り替えによって、検出対象領域のみが差分（の絶対値）が大きい状態になる。これによって縁を用いた矩形認識技術などにより検出対象領域を抽出し、図７７及び図７８のように、電子透かし検出が可能となる。
【０３５７】
［第１４の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１３の実施の形態と同一である。
【０３５８】
図７９は、本発明の第１４の実施の形態における基本透かしパターン生成部の処理の例を説明するためのである。
【０３５９】
本実施の形態における透かしパターン生成部１２０の基本透かしパターン生成部１２１は、第１乃至第１２の実施の形態と同様にして生成される基本透かしパターンに、プラス／マイナスの画素値を用いて枠を付加し、これを基本透かしパターンとする。
【０３６０】
図８０は、本発明の第１４の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【０３６１】
検出対象領域抽出部２２０は、差分フレーム画像を入力とし、差分フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。図８０では、差分フレーム画像に対して、文献３の縁検出方法を用いて検出対象領域の歪みパラメータを検出し、歪み補正、サイズ正規化を行って検出対象領域画像としている。このようにして得られた検出対象領域画像は埋め込み時の基本透かしパターンとノイズによる影響などを除いて同一であるから、電子透かしの検出が可能となることは、第１乃至第１２の実施の形態の内容から明らかである。
【０３６２】
また、本実施の形態は、第１乃至第１３の実施の形態の各々の工夫を任意に組み合わせても実施できることも自明である。
【０３６３】
＜本実施の形態の効果＞
本実施の形態の効果を、図８１Ａ、Ｂを用いて説明する。まず、第１３の実施の形態における検出対象領域抽出処理は、差分フレーム画像の絶対値を用いて縁検出などを行うことで領域抽出をしていた。この際、縁部分のエッジのコントラストは、差分フレーム画像の絶対値化であるため、ノイズの影響などを無視すれば、埋め込み時の透かしパターン振幅の２倍の差がある。
【０３６４】
本実施の形態では、基本透かしパターンとして、第１乃至第１２の実施の形態における基本透かしパターンにプラス／マイナスの画素値を持つ枠を付加する。また、検出対象領域抽出時には、差分フレーム画像のまま、縁認識などを行うことで領域抽出を行う。このため、縁部分のエッジのコントラストは、埋め込み時の透かしパターン振幅の４倍となり、第１３の実施の形態と比べてエッジの検出がしやすくなる。このため、検出対象領域の抽出がより確実に高い信頼度で行えるようになり、電子透かしの検出性能向上を実現できる。
【０３６５】
［第１５の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１４の実施の形態と同一である。
【０３６６】
本実施の形態の電子透かし埋め込み装置における透かしパターン生成部１２０内の基本透かしパターン生成部１２１の処理について説明する。
【０３６７】
図８２は、本発明の第１５の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。
【０３６８】
本実施の形態における基本透かしパターン生成部１２１は、第１乃至第１２の実施の形態と同様にして生成される基本透かしパターンに、プラス／マイナスの画素値を用いて位置合わせマーカを付加し、これを基本透かしパターンとする。第１４の実施の形態における枠も位置合わせマーカの一例と考えられる。図８２では、位置合わせマーカとしてＱＲコード（登録商標）などの２次元コードで用いられているコーナーを見つけるための位置あわせマーカを付加する。なお、図８２の基本透かしパターンは、実はＱＲコード（登録商標）そのものの画素値をプラス／マイナス化したものであるが、このように２次元コードそのものを基本透かしパターンとして用いても問題ない。
【０３６９】
次に、本実施の形態における検出対象領域抽出部２２０について説明する。
【０３７０】
図８３は、本発明の第１５の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【０３７１】
検出対象領域抽出部２２０は、差分フレーム画像を入力とし、差分フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。図８３では、差分フレーム画像に対して通常のＱＲコード（登録商標）読み取り時の位置合わせマーカ検出と同様の方法により、検出対象領域を抽出している。
【０３７２】
なお、本実施の形態のように２次元コードを基本透かしパターンとしている場合について、電子透かし検出部２４０は、２次元コードの読み取り処理を行うものと考えれば問題なく透かし情報を検出できることは明らかである。また、本実施の形態は、第１乃至第１２の実施の形態の各々の工夫を任意に組み合わせても実施できることも自明である。
【０３７３】
＜本実施の形態の効果＞
本実施の形態では、第１４の実施の形態で枠であった位置合わせマーカを、コーナーを特定するマーカとした場合の例について示した。本実施の形態の場合も、第１４の実施の形態と同様差分フレーム画像中の明暗のコントラスト差が埋め込み時の透かしパターン振幅の４倍となり、検出性能が向上する。
【０３７４】
また、本実施の形態により、透かしパターン生成の方法として既存の２次元コードのパターンを容易に転用できることがわかる。これによって電子透かし埋め込み・検出装置の一部を既存の部品を使いまわすことによるコスト削減効果も得られる。
【０３７５】
［第１６の実施の形態］
本実施の形態では、特徴領域の歪みの補正、サイズ正規化を行った特徴領域画像間の差分画像から検出対象領域を抽出する例を説明する。
【０３７６】
本実施の形態は、以下に説明する部分を除いて、第１３乃至第１５の実施の形態と同一である。
【０３７７】
本実施の形態の電子透かし検出装置について説明する。
【０３７８】
図８４は、本発明の第１６の実施の形態における電子透かし検出装置の構成を示す。同図に示す電子透かし検出装置２００Ｇは、動画像入力部２１０、特徴領域抽出部２９０、差分画像生成部２３０、検出対象領域抽出部２２０、電子透かし検出部２４０、及び、特徴領域画像バッファ３０２から構成される。
【０３７９】
次に、上記の構成における電子透かし検出装置の動作を説明する。
【０３８０】
図８５は、本発明の第１６の実施の形態における電子透かし検出装置の動作のフローチャートである。
【０３８１】
ステップ１６０１）  動画像入力部２１０において、テレビなどのディスプレイ表示されたアナログ動画像をカメラによりリアルタイムビデオキャプチャしたものや、あるいは、MPEGエンコードされたようなディジタル動画像が入力されると、順次フレーム画像を取得する。アナログ動画像の入力の際は、カメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。
【０３８２】
ステップ１６０２）  次に、特徴領域抽出部２９０において、フレーム画像中の特徴領域を抽出する。特徴領域抽出には、文献３の縁認識による矩形領域検出などの技術を用いる。抽出された特徴領域はカメラ撮影角度などによって生じる歪みを補正し、サイズを正規化した上で特徴領域抽出画像として出力される。
【０３８３】
ステップ１６０３）  次に、差分画像生成部２３０において、現在取得した特徴領域画像と、特徴領域画像バッファ３０２に蓄積されている、以前に取得した特徴領域画像との差分を取り、特徴領域差分画像を生成する。
【０３８４】
ステップ１６０４）  また、次の検出試行に備えて、特徴領域画像バッファ３０２に今回の特徴領域画像をバッファリングしておく。
【０３８５】
ステップ１６０５）  次に、検出対象領域抽出部２２０において、特徴領域差分画像中の、透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。
【０３８６】
ステップ１６０６）  続いて、電子透かし検出部２４０において、検出対象領域画像からの電子透かし検出を試み、検出結果を出力する。
【０３８７】
ステップ１６０７）  電子透かし検出が成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す。
【０３８８】
次に、上記の特徴領域抽出部２９０の処理の内容を説明する。
【０３８９】
図８６〜図９０は、本発明の第１６の実施の形態における特徴抽出部の処理を説明するための図である。
【０３９０】
特徴領域抽出部２９０は、フレーム画像を入力とし、フレーム画像中の特徴領域を抽出する。特徴領域抽出には、文献３の縁認識による矩形領域検出などの技術を用いる。抽出された特徴領域は、カメラ撮影角度などによって生じる歪みを補正し、サイズを正規化した上で特徴領域抽出画像として出力される。文献３のような矩形領域抽出技術を用いることで、図８６や図９０のように、テレビの表示領域を特徴領域として検出したり、図８７や図８９のようにテレビの筐体の外側を特徴領域としたり、あるいは、図８８のようにテレビの表示画面の外側にある枠状の意匠を特徴領域として検出したり、あるいは図示しないがテレビの背景にある矩形領域などを特徴領域とするケースなど、入力されたフレーム画像の内容によって、特徴領域がどのような領域となるかは様々なケースがあり得るが、重要な点は、撮影角度の違いによらず、同一の対象を撮影している場合には、各フレーム画像から検出される特徴領域が実質的に同じであるようになっていれば、歪みを補正し、サイズを正規化して得られる特徴領域画像は、図８６〜図９０のようにキャプチャ時刻によって刻々と変化する撮影角度などに対して同じ状態で得られるということである。
【０３９１】
上記の「撮影角度の違いによらず、同一の対象を撮影している場合には、各フレーム画像から検出される特徴領域が実質的に同じ」という条件を満たしてさえいれば、特徴領域が図８６や、図９０の例のように、どのような状態で検出されても構わない。このような条件を満たすフレーム画像中からの安定的な特徴領域抽出方法であれば、文献３のような縁線を利用した矩形領域検出に限らず、どのような方法を用いてもよい。
【０３９２】
次に、差分画像生成部２３０の処理の内容について説明する。
【０３９３】
図９１〜図９３は、本発明の第１６の実施の形態における差分画像生成部の処理を説明するための図である。
【０３９４】
差分画像生成部２３０は、現在取得した特徴領域画像と、特徴領域画像バッファ３０２に蓄積されている、以前に取得した特徴領域画像との差分を取り、特徴領域差分画像を生成する。また、次の検出試行に備えて、特徴領域画像バッファ３０２に今回の特徴領域画像をバッファリングしておく。図９１〜図９３に示したとおり、特徴領域抽出処理により、キャプチャフレーム間のカメラ移動などに伴う歪みの違いは吸収されるため、特徴領域画像の時間差分で得られる特徴領域差分画像は、透かしパターン切り替えによって生じる部分の変化量が大きく、その他の部分は殆ど差分がないという形になる。これにより、第１３乃至第１５の検出対象領域抽出処理と同様に、特徴領域差分画像から検出対象領域を抽出し、歪みを補正するなどした上で、電子透かし検出を試みれば電子透かし情報の検出が可能となる。
【０３９５】
＜本実施の形態の効果＞
本実施の形態では、第１３乃至第１５の実施の形態の効果に加え、前提としていた「撮影時のカメラに殆ど動きがない場合」という制約なしでも電子透かし検出が可能となる。これはまずキャプチャフレーム画像毎に特徴領域を抽出した上で歪みを補正することでフレーム間の歪みの違いを吸収してしまい、その後の差分画像生成で確実に透かしパターン部分の差分を位置ずれなく行うからである。これにより、カメラつき携帯電話機を片手で持ってテレビに向けてキャプチャするなどといった際に生じる手ぶれなどの影響を受けずに、電子透かし検出性能が向上することになる。
【０３９６】
［第１７の実施の形態］
本実施の形態では、電子透かし検出状況が良好であったときの位置の近傍のみを探索することにより特徴領域・検出対象領域の抽出を行う例を説明する。
【０３９７】
本実施の形態は、以下に説明する部分を除いて、第１３乃至第１６の実施の形態と同一である。以下、第１６の実施の形態との差分を中心に説明する。
【０３９８】
最初に、電子透かし検出装置２００Ｇにおける特徴領域抽出部２９０の処理の内容を説明する。
【０３９９】
図９４は、本発明の第１７の実施の形態におけると特徴領域抽出部の処理を説明するための図である。
【０４００】
本実施の形態における特徴領域抽出部２９０は、前回の電子透かし検出試行で検出状況が良好であったときの特徴領域の位置や形状を覚えておき（何らかの方法で記憶しておく）、今回入力されたフレーム画像からの特徴領域の探索の際には、前回の特徴領域の近傍のみから探索を行う。差分演算を行う２枚のキャプチャ時間間隔では、カメラの移動はそれほど大きくないため、前回検出状況が良好であったときには今回のフレーム画像においてもその近傍に正解の特徴領域が存在する。この原理を利用し、特徴領域探索範囲を狭めることでより安定的な特徴領域抽出を実現する。
【０４０１】
なお、「検出状況が良好」とは、例えば、文献１の検出信頼度指標値がある程度有意な値であるが未だ電子透かし検出が成功していない状態であるとか、あるいは、第８の実施の形態などのデータブロック毎検出の場合に、あるデータブロックの検出に成功した、などといった状態、即ち、電子透かし検出部２４０の検出状況から、電子透かしの存在が有意に明らかである、といった場合を指すものとする。また、探索時の近傍の大きさを、差分をとる２枚のキャプチャ時間間隔によって変動させるようにしてもよい。例えば、キャプチャ時間間隔が短い場合、カメラの移動量は少ないと予想できるため、近傍を小さくとる。逆に、キャプチャ時間間隔が長い場合、カメラの移動量が大きい場合もありうると予想できるため、近傍を大きくとる、などとしてもよい。
【０４０２】
本実施の形態における、検出対象領域抽出部２２０の処理の内容を説明する。
【０４０３】
図９５は、本発明の第１７の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【０４０４】
検出対象領域を抽出する際にも特徴領域抽出部２９０と同様に、前回の電子透かし検出試行で検出状況が良好であったときの検出対象領域の位置や形状を覚えておき（何らかの方法で記憶しておく）、今回入力された特徴領域差分画像からの検出対象領域の探索の際には、前回の特徴領域の近傍から探索を行う。これによって検出対象領域の探索も安定的になる。
【０４０５】
なお、第１６の実施の形態に本実施の形態を適用した場合、カメラ移動などによる歪み要因は特徴領域抽出処理により吸収されているため、図９５のように前回と今回の検出対象領域はほぼ同一となり、近傍サイズを小さめにとっても構わない。検出対象領域の抽出に失敗する要因として考えられるものは、動画像自体が動きのあるシーンの場合に、差分に透かしパターンだけでなく動画像の動き成分もノイズとして現れてしまうようなケースであるが、近傍サイズを小さくしておけば検出対象領域の探索が非常に安定的になる。
【０４０６】
また、第１３乃至第１５の実施の形態に本実施の形態を適用した場合は、そもそもカメラの動きが大きい場合は電子透かしの検出が困難であるので、この場合も同じく近傍領域を小さくとってよく、検出対象領域の探索が非常に安定的になる。
【０４０７】
また、本実施の形態を第１乃至第１２の実施の形態における電子透かし検出装置における検出対象領域抽出部２２０に適用することも容易である。この場合、前回の電子透かし検出試行で検出状況が良好であったとき、前回の検出対象領域の近傍から、今回のフレーム画像中の検出対象領域を探索するようにすればよい。
【０４０８】
なお、本実施の形態では、「前回の電子透かし検出試行において検出状況が良好であった」場合を利用する例を示したが、前回に限らず「時間的に近い良好な電子透かし検出試行時」の特徴領域、あるいは、検出対象領域を利用するようにしてもよい。
【０４０９】
また、一定時間電子透かし検出情報が良好ではない状態が続いた場合は、近傍探索を行わず、第１３乃至第１６の実施の形態と同様に処理を行うようにしてもよい。
【０４１０】
＜本実施の形態の効果＞
本実施の形態では、第１３乃至第１５の実施の形態の効果に加え、特徴領域あるいは検出対象領域の安定性、信頼性が向上するため、電子透かし検出性能の向上を実現できる。特に、特徴領域あるいは検出対象領域の検出方法があまりロバストでない場合に、大きな効果があり、電子透かし検出性能の大幅な向上をもたらす。
【０４１１】
［第１８の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１４乃至第１７の実施の形態と同一である。以下、第１４の実施の形態との差分を中心に説明する。
【０４１２】
本実施の形態の電子透かし検出装置における検出対象領域抽出部２２０の処理について説明する。
【０４１３】
図９６〜図９９は、本発明の第１８の実施の形態における検出対象領域抽出部の処理を説明するための図である。
【０４１４】
差分フレーム画像からの検出対象領域抽出処理は、第１４の実施の形態の透かしパターンが埋め込まれた動画像のフレーム間差分画像から行われる。この際、第１４の実施の形態では、予め検出対象領域抽出を高精度に行うために、基本透かしパターンに対して外側：明、内側：暗の枠パターンが付加されている（なお、明・暗は画素値の大小を表すために用いており、輝度値のみに限定されるべきものではないことは、第１の実施の形態で述べたとおりである）。検出対象領域抽出部２２０では、差分フレーム画像中から検出対象領域探索の際に、枠部分の画素値変化を調べる。図９６の例では、検出対象領域の外側：明、内側：暗となっているので、検出対象領域画像中の透かしパターンは、埋め込み時の基本パターンと同相（正位相）であると判断し、第４の実施の形態などで用いたように、電子透かし検出処理にこの位相情報を利用することができる。図９７は、位相が逆転している例を示す。検出対象領域の縁部分を調べることで、正位相／逆相が判定できることがわかる。
【０４１５】
また、本実施の形態を第１５の実施の形態に適用した場合の例を図９８、図９９に示す。この例では、ＱＲコード（登録商標）の位置合わせマーカの基礎パターンと、検出対象領域から見つけた位置合わせパターンが正の相関を持つときは正位相と判断し（図９８）、負の相関を持つとき逆相と判定する（図９９）。また、逆相であった場合は、検出対象領域画像の位相を反転してから電子透かし検出を試行してもよい。反転をする理由は、既存の２次元コードの読み取り方法は、位相反転したコードの認識に対応していないことが多いため、既存の２次元コード読み取り処理を使いまわす際に必要だからである。
【０４１６】
本実施の形態を第１６の実施の形態に適用する場合は、検出対象領域抽出部２２０の入力が、差分フレーム画像ではなく特徴領域差分画像となることのみで、それ以外は上記と同様の処理を行えばよいことは自明である。
【０４１７】
＜本実施の形態の効果＞
本実施の形態では、検出対象領域の抽出信頼性向上のために基本透かしパターンに付加された枠や位置合わせマーカなどのパターンを用いて、抽出した検出対象領域の当該パターン部分の位相が基本透かしパターンの時と同相か否かによって、検出対象領域画像中の透かしパターンの正位相／逆相を判定している。この位相情報を用いて第４の実施の形態などで示した検出性能向上が図れる。
【０４１８】
また、本実施の形態によれば、枠や位置合わせマーカなどのパターンが、検出対象領域抽出信頼度向上と位相情報取得の二役をこなすので、一石二鳥である。即ち、位相合わせのために透かし情報にフラグを付加することによって透かし情報のビット長を短くしたり、透かし情報にとってはノイズとなる位相判定信号を多重化する必要がなくなるので、電子透かし検出性能が向上する。
【０４１９】
［第１９の実施の形態］
本実施の形態は、以下に示す部分を除いて第１３乃至第１８の実施の形態と同一である。
【０４２０】
図１００は、本発明の第１９の実施の形態における電子透かし検出装置の構成を示す。
【０４２１】
同図に示す電子透かし検出装置２００Ｈは、動画像入力部２１０、差分画像生成部２３０、検出対象領域抽出部２２０、電子透かし検出部２４０、フレーム画像バッファ３０１、差分フレーム画像バッファ３０３から構成される。
【０４２２】
第１３の実施の形態との違いは、検出対象領域抽出部２２０の処理内容と、新たに差分フレーム画像バッファ３０３を設けた点である。
【０４２３】
図１０１は、本発明の第１９の実施の形態における電子透かし検出装置の動作のフローチャートである。
【０４２４】
ステップ１７０１）  動画像入力部２１０において、アナログまたはディジタル動画像を入力し、順次フレーム画像を取得する。アナログ動画像の入力の際はカメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。
【０４２５】
ステップ１７０２）  次に、差分画像生成部２３０において、現在取得したフレーム画像と、フレーム画像バッファ３０１に蓄積されている、以前に取得したフレーム画像との差分を取り、差分フレーム画像を生成する。
【０４２６】
ステップ１７０３）  今回入力されたフレーム画像を差分フレームバッファ３０１にバッファリングする。
【０４２７】
ステップ１７０４）  今回得られた差分フレーム画像を差分フレームバッファ３０１に加算蓄積する。
【０４２８】
ステップ１７０５）  差分フレームバッファ３０１中の加算蓄積された差分フレーム画像から、透かし検出の対象となる検出対象領域を抽出して、検出対象領域画像を取得する。
【０４２９】
この際、図１０２に示すように、差分フレーム画像の画素値を絶対値化してから差分フレーム画像バッファ３０３に加算蓄積し、差分フレーム画像バッファ３０３に加算蓄積された差分フレーム画像から検出対象領域を抽出し、今回の差分フレーム画像の当該検出対象領域の画像を歪み補正、サイズ正規化を行って検出対象領域画像としてもよい。この方法だと、差分フレーム画像の絶対値画像を加算蓄積するので、入力された差分フレーム画像中の透かしパターンの位相によらず、加算蓄積によって検出対象領域と背景領域のコントラストが高まり、検出対象領域の抽出信頼度が増す。
【０４３０】
あるいは、第３の実施の形態のように、透かしパターン切り替え情報で表される透かしパターンの切り替えタイミングと同期をとって差分フレーム画像を生成できる場合などでは、得られた差分フレーム画像中の透かしパターンが、基本透かしパターンと同相／逆相のどちらであるかはキャプチャの開始タイミングなどにより判別はできないが、今回得られた差分フレーム画像は以前に得られた差分フレーム画像と同相か否か判別可能である（例えば、図３１の例では、同じ位相状態が差分画像一つ置きに得られる）。これを用いて図１０３のように差分フレーム画像バッファ３０３に蓄積する差分画像の位相を揃え、差分フレーム画像バッファ３０３に加算蓄積し（結果としては基本透かしパターンと同相のもののみが加算されるか、逆相のもののみが加算されるかのどちらかである）、差分フレーム画像バッファ３０３に加算蓄積された差分フレーム画像を絶対値化してから検出対象領域を抽出し、差分フレーム画像バッファ３０３に加算蓄積された差分フレーム画像の当該検出対象領域の画像を歪み補正、サイズ正規化を行って検出対象領域画像としてもよい。この方法だと、加算蓄積によって透かしパターンも強調され、検出対象領域抽出信頼度の向上のほか、電子透かし検出性能が向上するという効果も得られる。
【０４３１】
ステップ１７０６）  続いて、電子透かし検出部２４０において、検出対象領域画像から電子透かし検出を試み、検出結果を出力する。
【０４３２】
ステップ１７０７）  電子透かし検出が成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す。
【０４３３】
また、本実施の形態を第１６の実施の形態に適用した場合の電子透かし検出装置について説明する。
【０４３４】
図１０４は、本発明の第１９の実施の形態における電子透かし検出装置の構成を示す。
【０４３５】
同図に示す電子透かし検出装置２００Ｉは、動画像入力部２１０、特徴領域抽出部２９０、差分画像生成部２３０、検出対象領域抽出部２２０、電子透かし検出部２４０、特徴領域バッファ３０２、特徴領域差分画像バッファ３０４から構成される。
【０４３６】
第１６の実施の形態との違いは、検出対象領域抽出部２２０の処理内容と新たに特徴領域差分画像バッファ３０４を用意した点である。
【０４３７】
図１０５は、本発明の第１９の実施の形態における電子透かし検出装置の動作のフローチャート（第１６の実施の形態に適用）である。
【０４３８】
ステップ１８０１）  動画像入力部２１０において、テレビなどのディスプレイ表示されたアナログ動画像をカメラによりリアルタイムビデオキャプチャしたものや、あるいは、MPEGエンコードされたようなディジタル動画像が入力されると、順次フレーム画像を取得する。アナログ動画像の入力の際は、カメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。
【０４３９】
ステップ１８０２）  次に、特徴領域抽出部２９０において、フレーム画像中の特徴領域を抽出する。特徴領域抽出には、文献３の縁認識による矩形領域検出などの技術を用いる。抽出された特徴領域はカメラ撮影角度などによって生じる歪みを補正し、サイズを正規化した上で特徴領域抽出画像として出力される。
【０４４０】
ステップ１８０３）  次に、差分画像生成部２３０において、現在取得した特徴領域画像と、特徴領域画像バッファ３０２に蓄積されている、以前に取得した特徴領域画像との差分を取り、特徴領域差分画像を生成する。
【０４４１】
ステップ１８０４）  また、次の検出試行に備えて、特徴領域画像バッファ３０２に今回の特徴領域画像をバッファリングしておく。
【０４４２】
ステップ１８０５）  検出対象領域抽出部２２０において、特徴領域差分画像を特徴領域差分画像バッファ３０４に蓄積する。
【０４４３】
この際、図１０６、図１０７に示すように、特徴領域差分画像バッファ３０４に蓄積する特徴領域差分画像の位相を揃え、特徴領域差分画像バッファ３０４に加算蓄積するようにする。位相の揃え方は、上記の透かしパターン切り替えタイミングとの同期のほか、第６の実施の形態や第１７の実施の形態に示したような方法を利用することができる。この結果、特徴領域差分画像バッファ３０４には、基本透かしパターンと同相のもののみが加算されるか、逆相のもののみが加算されるかのどちらかになる。
【０４４４】
ステップ１８０６）  次に、特徴領域差分画像バッファ３０４に加算蓄積された特徴領域差分画像から透かし検出の対象となる中の検出対象領域を抽出し、歪み補正、サイズ正規化を行って検出対象領域画像を取得する。
【０４４５】
ステップ１８０７）  続いて、電子透かし検出部２４０において、検出対象領域画像からの電子透かし検出を試み、検出結果を出力する。
【０４４６】
ステップ１８０８）  電子透かし検出が成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す。
【０４４７】
上記のように、位相を揃えた加算蓄積により、一枚の差分画像のみよりも相対的に検出対象領域の透かしパターンが際立つため、検出対象領域の抽出信頼度が向上するほか、第６の実施の形態と同様、電子透かしの検出性能が向上する。
【０４４８】
＜本実施の形態の効果＞
本実施の形態では、差分フレーム画像あるいは、特徴領域差分画像を蓄積して、相対的に透かしパターンの強度を強めてから検出対象領域を抽出することにより、検出対象領域の抽出信頼性向上を実現している。
【０４４９】
また、特に、差分画像中の透かしパターンの位相を揃えて加算蓄積を行うことで検出対象の信頼性向上のみならず、電子透かしの検出性能向上を同時に実現できる。一般に透かしパターンは人間に知覚できない程度に微弱な振幅で画像に付加されるため、一枚の差分画像の中では明確に検出対象領域を特定できないことがありうる。本実施の形態は上記の工夫によりこの問題を解決できる。
【０４５０】
［第２０の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１乃至第１９の実施の形態と同一である。以下、第１３の実施の形態との差分を中心に説明する。
【０４５１】
本実施の形態の電子透かし埋め込み装置１００内の透かしパターン重畳部１３０の処理について説明する。
【０４５２】
図１０８、図１０９は、本発明の第２０の実施の形態における透かしパターン重畳部の処理を説明するための図である。
【０４５３】
透かしパターン重畳部１３０は、フレーム画像と、当該フレーム表示時刻に基づいて、生成された透かしパターンを入力する。このとき、一枚のフレーム画像に複数の透かしパターンが重畳できるように、必要に応じて透かしパターンが複数枚生成されているものとする。例えば、異なる３つの情報を表す３枚の透かしパターンが与えられているとする。透かしパターン重畳部１３０では、各々の透かしパターンの振幅を適宜調整し、各透かしパターンの表す情報と関連付けたいフレーム画像中のオブジェクトに合わせての位置、サイズを調整してフレーム画像に重畳する。図１０８では、フレーム画像中の相異なる３つのオブジェクト領域に透かしパターンを重畳する例を示している。あるいは、図１０９のように、画像全体に相当する透かしパターンの中に、オブジェクトに対応する透かしパターンを入れ子のように重畳する、としてもよい。この場合、入れ子になっている内側の透かしパターンの値で外側の透かしパターンの値を上書きするようにしてもよい。また、図１０９では、第１４の実施の形態や第１５の実施の形態のように、透かしパターンに検出対象領域抽出用のマーカなどが付けられているとする。
【０４５４】
次に、本実施の形態における電子透かし検出装置の差分画像生成部２３０の処理について説明する。
【０４５５】
図１１０は、本発明の第２０の実施の形態における差分画像生成部の処理を説明するための図である。
【０４５６】
差分画像生成部２３０の処理自体は、第１３の実施の形態と完全に同じであるが、入力されるフレーム画像中の透かしパターン領域が複数個存在するため、図１１０のように、差分フレーム画像には複数の透かしパターン領域が得られる。
【０４５７】
次に、本実施の形態における検出対象領域抽出部２２０の処理について説明する。
【０４５８】
図１１１、図１１２は、本発明の第２０の実施の形態における検出対象領域抽出部の処理を説明するための図である。第１３の実施の形態と同様に、差分フレーム画像の画素値の絶対値をとって矩形領域を探索すると、図１１１のように３つの検出対象領域を見つけることができる。３つの検出対象領域毎に検出対象領域画像を生成し、それぞれ電子透かし検出試行を行うようにする。
【０４５９】
また、図１０９のような透かしパターン重畳を行った場合の検出対象領域抽出部２２０の処理の内容を図１１２を用いて説明する。差分フレーム画像中で透かしパターン領域が入れ子になっていたとしても、第１４の実施の形態や第１５の実施の形態のような位置合わせのためのマーカなどを用いれば、入れ子構造の検出対象領域を見つけることができ、それぞれ毎に検出対象領域画像を生成して電子透かし検出試行を行うようにする。なお、図１１２において、外側の透かしパターンの中には、内側の透かしパターンが入れ子になっており、この領域については外側の透かしパターンの模様が残っていないが、電子透かし方式自体が持つロバスト性により、パターンの欠損に対しても対応できるため、電子透かし検出は可能である。
【０４６０】
次に、本実施の形態における電子透かし検出装置２００のフィードバック出力の例を示す。
【０４６１】
図１１３〜図１１６は、本発明の第２０の実施の形態における電子透かし検出装置のフィードバック出力の例を示す。
【０４６２】
検出対象領域毎に得られた検出状況は、電子透かし検出装置２００の表示画面上で、検出対象領域の位置やサイズなどに合わせてプレビュー画面に合成される。図１１３では、３つの検出対象領域からの電子透かし検出状況を、もともとの透かしパターンに関連付けられたオブジェクト位置に合成して表示している。
【０４６３】
また、図１１４では、入れ子になった２つの検出対象領域からの電子透かし検出状況の合成の例を示している。このように複数の電子透かし検出対象領域が得られた場合、それぞれの電子透かし検出状況を同時にフィードバックすることが可能である。
【０４６４】
また、図１１５や図１１６のように、表示画面の一部分をズームインして撮影している場合には、その撮影部分のみの電子透かし検出状況を出力できる。これを用いれば、例えば、表示画面中の複数のオブジェクトからいくつかを選択するような指示を電子透かし検出を用いて実現できる。
【０４６５】
なお、本実施の形態は、第１乃至第１９の実施の形態における工夫を任意に組み合わせても実施できることは自明である。
【０４６６】
＜本実施の形態の効果＞
本実施の形態によれば、動画像の１フレーム中に複数の透かしパターンを重畳して埋め込みを行い、カメラキャプチャで得られるフレーム画像中の複数の検出対象領域を抽出して各々電子検出を行う。これによりフレーム画像中のオブジェクトに関連付けた電子透かしの埋め込み・検出が可能となり、利便性が向上する。また、撮影時に特定のオブジェクトにズームインしてキャプチャ・検出を行うことで、画面中の特定のオブジェクトを選択するようなユーザインタフェースに利用できる。
【０４６７】
［第２１の実施の形態］
本実施の形態では、透かしの情報を透かしパターンの位相差分変動として埋め込みを行う例を説明する。
【０４６８】
本実施の形態は、以下に説明する部分を除いて、第１乃至第２０の実施の形態と同一である。以下、第１の実施の形態との差分を中心に説明する。
【０４６９】
本実施の形態における電子透かし埋め込み装置１００における透かしパターン生成部１２０について説明する。
【０４７０】
図１１７は、本発明の第２１の実施の形態における透かしパターン切り替え情報の例を説明するための図である。
【０４７１】
本実施の形態における透かしパターン切り替え情報は、パターンの反転について直接的に指示する情報ではなく、透かしパターンの周期と周期中の切り替えポイントを示すような情報である。
【０４７２】
図１１８、図１１９は、本発明の第２１の実施の形態における透かしパターン切り替え部の処理を説明するための図である。
【０４７３】
透かしパターン切り替え部１２２では、まず、入力された基本透かしパターンの濃淡値を、位相差分変動パターンに変換する。変換のプロセスは、例えば、図１１８のように２値の基本透かしパターンである場合は、明・暗に対応する二つの位相差分変動値を求め、基本透かしパターン上の明・暗それぞれの画素値を持つ画素位置に位相差分変動値を対応付けることにより得られる。ここで２値の位相変動差分値をどのようにして求めるかであるが、図１１８のように、透かしパターン切り替え情報が「３／１０秒で一周期となるように１／１０秒毎に断続的に切り替え」である場合には、３／１０秒が一周期で切り替えタイミングが１／１０秒であるから、１／１０秒に２π／３だけ位相を変化させれば、３／１０秒後に元の位相に戻るため、位相差分変動値を２π／３、及びその反対方向の−２π／３の２値を用いるようにする。
【０４７４】
上記のようにして位相差分変動パターンを得た後、透かしパターン切り替え部１２２は、入力されたフレーム表示時刻を透かしパターン切り替え情報の時間軸にとり、切り替えタイミング毎に、直前の透かし位相のパターンに位相差分変動パターンを加える。図１１８の例では、時刻ｔ０，ｔ１，ｔ２のタイミングで、透かし位相パターンに位相差分変動パターンが加えられる。なお、動画像の先頭フレームなどにおける、透かし位相パターンの初期値は、０及び上記の差分変動値のいずれかを透かし位相パターンの各要素が任意に取るようにして設定されるものとする。
【０４７５】
上記のようにして透かし位相パターンを取得した後、透かしパターン切り替え部１２２は、透かし位相パターンを透かしパターンに変換する。変換の仕方としては、例えば、図１１９に示すように、透かし位相パターンの各要素値を、画像の２つ以上の成分、図では、YcbCr表色系におけるCbとCrを直交軸においた座標系における原点（０，０）を中心とした半径ｒ（ｒは所与の値）の円上の点に対応付ける。この結果得られるCb−Crの座標系のCb座標、Cr座標を、当該透かし位相パターンの要素に対応する透かしパターンの画素値として、全ての透かしパターンの画素値を求める。このようにして得られた透かしパターンは、各画素複数の成分値を持つパターンとなる。
【０４７６】
なお、本実施の形態では、Cb、Crを例として用いたが、RGB表色系のR−Gを用いたり、あるいは、XYZ表色系におけるＸ−Yを用いたり、HSV表色系のH-Sを用いたりなど、様々な方法がありうる。
【０４７７】
また、各軸毎の変動量に対する視覚感度が異なる場合には、適宜スケールを補正して各軸の変動量と視覚感度が一致するようにしてもよい。本実施の形態では、YCbCr表色系では、Yに比べて知覚されづらいという理由でCbとCr成分を用いた例を示している。
【０４７８】
また、複数の画像成分ではなく、単一の成分、例えば、輝度成分などを用いて本実施の形態を実施するには、第１の実施の形態の変調方法（A−２）のように、基本透かしパターンに波形パターンを用いて、波形パターンの位相を変動させることで、本実施の形態と同様に位相差分変動を用いた電子透かし埋め込みが実現できる。
【０４７９】
このようにして得られた透かしパターンが、順次フレーム画像に重畳されることにより、透かし入り動画像が得られることについては第１の実施の形態と同様である。
【０４８０】
本実施の形態における電子透かし検出装置２００内の差分画像生成部２３０の処理について説明する。
【０４８１】
図１２０は、本発明の第２１の実施の形態における差分画像生成部の処理を説明するための図である。差分画像生成部２３０は、第１の実施の形態と同様の処理を行って差分画像を得た後、さらに、差分画像に修正を加える。修正の仕方の例は、図１２０のように、差分画像の各画素についてCb、Cr成分値（cb,cr）を得て、これを埋め込み時と同様にCb-Crの直交座標系にプロットしたときの局座標表現（R，θ）を得る。次に、θが図中の丸印の角度（π／６，π／２，π／６，５π／６，７π／６，３π／2，１１π／6）のどれかに一番近いかを判定し、一番近かった角度に割り当てられた符号（＋または−）を得る。最後に原点からの距離Rにこの符号を掛けたものを求めて、差分画像の当該画素の画素値として上書きする。これを全ての差分画像の画素に対して行う。
【０４８２】
差分画像生成部２３０以降の処理については第1の実施の形態と同様である。
【０４８３】
次に、本実施の形態の原理について説明する。
【０４８４】
説明の前提として、本実施の形態における電子透かし検出装置においては、図１２１のように、第3の実施の形態と同様、透かしパターン切り替え情報に基づいてキャプチャタイミング、差分タイミングが指定されているとする。図１２１では、差分は1／１０離れた検出対象領域画像の差分を取るように指定されている。第４の実施の形態などで述べたとおり、第１乃至第２０の実施の形態で説明した電子透かし埋め込み・検出方法では、差分取得のタイミングによって、得られた差分画像中の透かしパターンが埋め込み時と同相か逆相かのどちらかになり、各種工夫により対応する必要があった。
【０４８５】
図１２２と図１２３を用いて本実施の形態の原理を説明する。図１２２は、埋め込み時の位相差分変動パターン値が２π／３の場合について、１／１０秒離れた２枚のフレームに埋め込まれたCb-Cr成分値、即ち、埋め込み時の位相パターンに相当する値と、差分によって得られるCb-Cr値のありうるパターン全てを列挙したものである。このように、埋め込み時の位相差分変動値が２π／３であれば、差分画像中のCb-Cr成分値は、π／６，５π／６，３π／２の３つのうちのどれかの位相を持つ。
【０４８６】
位相差分変動値が−２π／３であった場合について、図１２３に示す。この場合、差分画像中のCb-Cr成分値は、７π／６，π／２，１１π／６の３つのうちのどれかの位相を持つ。即ち、位相差分変動値に応じて、差分画像中のCb-Cr成分値は、２つのグループに分類できる。これを用いれば、図１２０のように検出時のCb-Cr成分の位相が２つのグループのどちらに属するかを判定することで、キャプチャのタイミングによらず、常に埋め込み時の位相差分変動値を一定に得ることができる。位相差分変動値は、透かし情報を拡散した系列の項の値に対応しているので、結局キャプチャタイミングによらず差分から得られる透かしパターン（図１２０中に修正された差分画像中の透かしパターンに相当）は反転することがなく、埋め込み時の基本透かしパターンと同相、ということになる。
【０４８７】
この「差分から得られる透かしパターンがタイミングによらず常に一定」という特性は、極めて重要である。例えば、第１の実施の形態の変調方法（Ａ−１）は、差分画像中の透かしパターンが反転すると、検出透かし除法のビットが反転するため、位相を特定するために第４の実施の形態や第５の実施の形態のような工夫を必要としていた。
【０４８８】
また、第１の実施の形態のその他の変調方法も、例えば、第６の実施の形態や第１９の実施の形態のように、透かし情報や検出対象領域の検出性能向上のために差分画像を蓄積する際に、位相を合わせる必要があるため、各種工夫を用いていたが、本実施の形態を用いることで、この問題は一切解消し、差分の取り方によらず透かしパターンは一定であるから、当然検出透かし情報のビット反転は起きないし、差分画像の加算蓄積の際に位相を気にすることなく単純に加算をするだけで済む。
【０４８９】
また、第８の実施の形態のように透かし情報をデータブロックに分割して時間方向で順次埋め込みを行うような場合に、第１の実施の形態のような変調方法では、図１２４に示すようにデータブロックの境界に跨った差分画像では、正しくない透かし情報を検出してしまう危険性があった。そのため安全を確保するためにはデータブロック区間の間に透かしを埋め込まない区間を挟む必要があり、これによって単位時間当たりの透かし情報長が減ってしまうという問題があった。
【０４９０】
しかし、本実施の形態を用いれば、透かしの情報は位相差分変動によって表されるので、直前のデータブロック終端での位相パターンに、今回のデータブロック情報を表す位相差分変動を与えて埋め込みを行えば、検出時にデータブロック境界に跨った差分画像を得ても、その差分から正しくデータブロック情報を検出することができる。これによって無用なブランクを挟み込まず連続的にデータブロックを切り替えて埋め込み・検出をすることができるので、単位時間当たりの透かし情報量を増大させることもできる。
【０４９１】
なお、本実施の形態を、第１乃至第２０の実施の形態の各々の工夫を任意に組み合わせても実施できることは自明である。
【０４９２】
＜本実施の形態の効果＞
本実施の形態によれば、透かしの情報を位相差分変動として埋め込みを行うので、差分画像の取得タイミングによらず、一定の透かしパターンの含むように差分画像を得ることができる。これによって透かし情報のビット反転を防いだり、差分画像蓄積時に位相を合わせる必要がなくなり、単純に差分画像を加算蓄積するようにすればよいので、装置構成の単純化、処理の高速化、及び位相同期信号を不要とすることに透かし情報長増大や耐性向上を実現できる。また、第８の実施の形態のようなデータブロック利用型の場合に、データブロック間に無用なブランクを挟まなくても検出情報の信頼性を担保できるので、単位時間当たりの透かし情報長の増大を実現できる。
【０４９３】
［第２２の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１乃至第２１の実施の形態と同一である。
【０４９４】
以下、第１の実施の形態との差分を説明する。
【０４９５】
電子透かし検出装置２００の差分画像生成部２３０の処理について説明する。
【０４９６】
図１２５は、本発明の第２２の実施の形態における差分画像生成部の処理を説明するための図である。
【０４９７】
本実施の形態においては、差分画像生成部２３０において、検出対象領域画像の差分画像を生成した後、さらに、差分画像に対してフィルタ処理を施して出力する。
【０４９８】
図１２６Ａ、Ｂは、本発明の第２２の実施の形態におけるフィルタ処理の例を説明するための図である。説明のために差分画像を一次元信号として表している。図１２６Ａでは、差分画像の画素値の絶対値が所与の閾値以上の場合、閾値にクリッピングするという非線形フィルタ処理を施す。また、同図Ｂでは、差分画像の画素値の絶対値が所与の閾値以上の場合、画素値を０にするという非線形フィルタ処理を施す。
【０４９９】
＜本実施の形態の効果＞
本実施の形態によれば、動きのある動画像を撮影した場合に生じる大きな差分成分をフィルタ処理によって抑圧することができる。一般に透かしパターンは微弱な振幅で埋め込まれているので、画像自体の動きに起因する差分成分は、差分画像上の大きな絶対値を持つ差分画素値として現れる。そのため、本実施の形態のような非線形フィルタを用いれば、動画の動きによる差分成分を抑圧し、また、透かしパターンの成分は抑圧しないので、透かしパターンのＳ／Ｎ比が向上するので、動きがある動画像からの検出性能を向上させることが可能となる。
【０５００】
［第２３の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１乃至第２２の実施の形態と同一である。以下、第１の実施の形態との差分を説明する。
【０５０１】
図１２７は、本発明の第２３の実施の形態における透かしパターン重要部の処理を説明するための図である。
【０５０２】
本実施の形態における透かしパターン重畳部１３０は、順次入力されるフレーム画像を過去数枚分蓄積する機能を有し、新たに入力された今回のフレーム画像と、以前のフレーム画像との差分画像を生成する。以前のフレーム画像は直前のものでも良いし、数フレーム前のものでもよい。次に、透かしパターンは、第１乃至第２２の実施の形態のように適宜スケーリングされる。次に、差分画像に基づいて、透かしパターンの振幅を調整する。その後の処理は第１乃至第２２の実施の形態と同様にフレーム画像に対して振幅が調整された透かしパターンを重畳するのみである。
【０５０３】
図１２８は、本発明の第２３の実施の形態における透かしパターンの振幅調整の例を説明するための図である。同図（１）では、差分画像の画素値の絶対値の総和を求め、この総和の値に基づいて透かしパターン全体の振幅を調整する。調整の仕方は、例えば、総和値に対して比例する値で振幅を増幅するなど、総和値が大きいほど振幅が大きくなるようにする。あるいは、同図（２）のように、差分画像の各座標の画素値に基づいて、透かしパターンの対応する座標の画素値の振幅を調整する方法もありうる。この場合は、例えば、差分画像の画素値の絶対値が大きいほど、対応する位置の透かしパターンの振幅を大きくするようにする。同図（１）、（２）とも、差分画像に大きな絶対値を持つ画素が多いほど、即ち、動画像の動きが激しいほど、透かしパターンの振幅が増幅されるようになっている。また、同図（１）を施した後にさらに同図（２）を施すなど、増幅の仕方をより複雑にしてもよい。
【０５０４】
＜本実施の形態の効果＞
本実施の形態によれば、動きのある動画像に透かしパターンを重畳する際に、差分画像中の大きな絶対値を持つ画素が多い、即ち、動きの激しいフレームについては、動きの少ないフレームに対するよりも、より振幅の大きい透かしパターンを重畳することになる。一般に動きの激しい動画シーンでは、静止しているシーンに比べノイズが知覚しづらいので、上記のように動きの激しいフレームで透かしパターンの振幅を強めても、透かし埋め込みによる画質劣化が知覚できないようにすることが可能である。
【０５０５】
また、特に動きの多いシーンでは、検出時の差分画像に大きな絶対値を持つ画素が多いので、透かし検出に対してはノイズが多いという問題があったが、本実施の形態のように、動きの激しいシーンは予め強めに透かしパターンを埋め込んでおくことで、Ｓ／Ｎ比が向上して透かしの検出性能が向上する。
【０５０６】
［第２４の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１乃至第２３の実施の形態と同一である。以下、第１の実施の形態との差分を中心に説明する。
【０５０７】
図１２９は、本発明の第２４の実施の形態における電子透かし検出装置の構成を示す。
【０５０８】
同図に示す電子透かし検出装置２００Ｊは、動画像入力部２１０、検出対象領域抽出部２２０、差分画像生成部２３０、電子透かし検出部２４０、検出対象領域画像バッファ２５０、ズーム処理部３１０から構成される。同図に示す構成は、第１の実施の形態の電子透かし検出装置１００Ａにズーム処理部３１０を付加した構成である。
【０５０９】
図１３０は、本発明の第２４の実施の形態における動作のフローチャートである。
【０５１０】
同図に示すフローチャートにおけるステップ１９０１〜ステップ１９０６までの動作は図２０のステップ２０１〜ステップ２０６と同一であるのでその説明は省略する。
【０５１１】
ステップ１９０７）  電子透かし検出部２１０の検出状況が良好でない場合は、ステップ１９０１に移行し、良好である場合は、ステップ１９０８の処理を行う。
【０５１２】
ステップ１９０８）  ズーム処理部３１０において、検出対象領域の大きさや位置を表す検出対象領域情報と電子透かし検出部２４０の検出状況を用いて、検出状況が良好であった場合に、検出対象領域が所与のサイズとなるようにズームパラメタを生成し、動画像入力部２１０に与え、ステップ１９０１の処理に移行する。これにより、動画像入力部２１０では、与えられたズームパラメタに基づいて、カメラやスキャナなどを自動的にズームさせる。
【０５１３】
ここで、「検出状況が良好」とは、第１７の実施の形態と同様に、例えば、文献１の検出信頼度指標値がある程度有意な値であるが、まだ電子透かしの検出が成功していない状態であるとか、あるいは、第８の実施の形態などのデータブロック毎検出の場合に、あるデータブロックの検出に成功した、などといった状態、即ち、電子透かし検出部２４０の検出状況から、電子透かしの存在が有意に明らかである、といった場合を指すものとする。例えば、検出対象領域の面積がフレーム画像の面積の４０％以上となるように、今回の検出対象領域情報で表される検出対象領域が４０％未満であった場合に、自動的にズームインして４０％以上となるようにする。あるいは、ある検出試行時において検出状況が良好であり、かつ検出対象領域の面積が２０％であった場合、検出試行毎に徐々にズームインさせることで表示を滑らかに変化させてユーザインタフェースを改善してもよい。
【０５１４】
また、ズームインする際に、あまりにズームインしすぎると検出対象領域の縁検出に失敗するような場合は、検出対象領域がフレーム画像いっぱいになるまでズームインせずに、所与のサイズ（例えば、フレーム画像の５０％）までズームするようにしてもよい。さらに、所与のサイズではなく、現在の検出対象領域情報で定まる検出対象領域の頂点や辺がフレーム画像に収まるように、適宜ズーム率を変化させても良い（例えば、フレーム画像の中央に検出対象領域がある場合と、端にある場合とでは、後者の方がズームインの程度が低くなる）。
【０５１５】
なお、上記では、第１の実施の形態との差分について説明したが、第１３乃至第１５の実施の形態との組み合わせや、第１６の実施の形態の特徴領域を所与のサイズとなるようにズームインすることや、第１７の実施の形態において近傍探索の範囲をズーム率の変化に応じて同様にズームさせて組み合わせることや、第２０の実施の形態において、複数の透かしパターンのうち一つを撮影画像の中央にフレーミングして検出試行することで自動ズームにより特定の画像領域に結び付けられた透かし情報を検出することなどは容易に実現可能である。
【０５１６】
＜本実施の形態の効果＞
本実施の形態によれば、撮影時のフレーム画像中の検出対象領域の画素サイズが小さい場合に、自動的にズームインしてより大きな画素サイズの検出対象領域を取得することができる。一般に画素サンプルが少なくなると電子透かし検出が困難になるため、ズームインして検出対象領域の画素サンプル数を増大させることで、電子透かしの検出性能を向上させることができる。
【０５１７】
また、電子透かしの検出状況に基づいて、検出状況が良好の時のみズームインすることにより、例えば、図１３１Ａのように検出状況が良好な場合、ズームインによって検出対象領域の画素サンプル数を増大させて検出性能を向上させることができると同時に、同図Ｂのように本来の検出対象領域ではない領域を誤って検出対象領域としている場合には、電子透かし検出状況が良好とならないため、ズームインしない、即ち、確実に電子透かしの存在が明らかな検出対象領域の場合のみ、検出性能が向上するようにズームインするので、無用なズームインをせずに済み、ユーザビリティの向上を図ることができる。
【０５１８】
［第２５の実施の形態］
本実施の形態では、透かしの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像（Ａ）を生成し、さらに時間的に隣接した差分画像（Ａ）の位相差分を計測し、位相差を用いて得られる差分画像（Ｂ）から電子透かし検出を行うことにより、検出時のキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出を可能するものである。
【０５１９】
本実施の形態は、以下に説明する部分を除いて、第１乃至第２４の実施の形態と同一である。以下、第１の実施の形態との差分を中心に説明する。本実施の形態における電子透かし埋め込み装置の構成は、第１の実施の形態と同様の構成である。
【０５２０】
図１３２は、本発明の第２５の実施の形態における透かしパターン切り替え情報の例を説明するための図である。
【０５２１】
本実施の形態における電子透かし埋め込み装置１００における透かしパターン生成部１２０の透かしパターン切り替え情報は、パターンの反転について直接的に指示する情報ではなく、６／３０秒で一周期となる正弦波など、連続的な関数で表現されるものであり、具体的には正弦波の周期を示すような情報である。実際には入力される動画像は特定のフレームレート、例えば３０フレーム/秒のような離散的なフレーム画像群として与えられるので、図１３２の下図のように、正弦波上を離散的にサンプリングして埋め込みに用いることになる。なお、本実施の形態では以下に示すように、正弦波の周期に対する位相の値を用いる。
【０５２２】
図１３３は、本発明の第２５の実施の形態における透かしパターン切り替え部の処理を説明するための図である。透かしパターンに切り替え部１２２では、まず入力された基本透かしパターンの濃淡値を、符号パターンに変換する。符号パターンは、基本透かしパターンの各濃淡値の＋または−の符号を取り出し、大きさを１とした値を各要素値として持つ配列である。
【０５２３】
次に、透かしパターン切り替え部１２２において、入力されたフレーム表示時刻を透かしパターン切り替え情報の時間軸にとり、フレーム表示時刻に対応する透かしパターン切り替え情報の周期に対する位相（以下透かしパターン切り替え位相と呼ぶ）を取得する。そして直前のフレームに対する透かしパターン切り替え位相との間の位相変動値を求め（図１３３では＋π／３）、この位相変動値に符号パターンの要素値を掛けたものを透かし位相パターンの各要素値の位相変動量とする。透かし位相パターンは符号パターンと同じサイズの配列であり、各要素は０〜２πの位相値をとる。透かし位相パターンの各要素の初期値は任意の値でかまわない。
【０５２４】
上記のようにして透かし位相パターンを取得した後、透かしパターン切り替え部１２２は位相パターンを透かしパターンに変換する。変換の仕方としては、例えば図１３４に示すように、透かし位相パターンの各要素値を、画像の２つ以上の成分、図ではYCbCr表色系におけるCbとCrを直行軸においた座標系における原点（０，０）を中心とした半径r(rは所与の値)の円上の、角度が位相パターン要素値の点に対応付ける。この結果得られるCb−Cr座標系のCb座標、Cr座標を、当該位相パターンの要素に対応する透かしパターンの画素値として、すべての透かしパターンの画素値を求める。このようにして得られた透かしパターンは、各画素複数の成分値を持つパターンとなる。なお、本実施の形態ではCb，Crを例として用いたが、ＲＧＢ表色系のＲ−Ｇを用いたり、あるいはXYZ表色系におけるＸ−Ｙを用いたり、HSV表色系のHue-Saturationを用いたり（この場合はHue-Saturationを直交座標にとるのではなく、位相値を直接Hue値に設定し、所与のSaturation値を持つようにしても良い）など、様々な方法があり得る。
【０５２５】
また、各軸毎の変動量に対する視覚感度が異なる場合には、適宜スケールを補正して各軸の変動量と視覚感度が一致するようにしても良い(例えば図１３４において円ではなく楕円を用いるなど)。本実施の形態ではYCbCr表色系では、Ｙに比べて知覚されづらいという理由でCbとCr成分を用いた例を示している。
【０５２６】
また、複数の画像成分ではなく、単一の成分、例えば輝度成分などを用いて本実施の形態を実施するには、第１の実施の形態の変調方法（Ａ−２）のように、基本透かしパターンに波形パターンを用いて、波形パターンの位相を変動させることで、本実施の形態と同様に位相差分変動を用いた電子透かし埋め込みが実現できる。
【０５２７】
このようにして得られた透かしパターンが、透かしパターン重畳部１３０において順次フレーム画像に重畳されることにより、透かし入り動画像が得られることについては第１の実施の形態と同様である。
【０５２８】
なお、Cb−Crを用いた場合は、透かしパターンの振幅を調整するとは、Cb−Cr座標系における振幅（図１３４における点ａ０と原点との距離）を増減することになる。また、Hue-Saturationを用いる場合はSaturationを増減することにあたる。また、基本透かしパターンが２値ではなく多値の場合は、基本透かしパターンの画素値の絶対値の大きさに応じて、対応する透かしパターンの画素値の振幅を増減させても良い。
【０５２９】
図１３５は、本発明の第２５の実施の形態における電子透かし検出装置の構成図である。
【０５３０】
本実施の形態における電子透かし検出装置２００は、動画像入力部２１０、検出対象領域抽出部２２０、差分画像生成部２３０、位相差分計測部３６０、電子透かし検出部２４０、検出対象領域画像バッファ２５０、位相パターンバッファ３７０を有する。
【０５３１】
図１３６は、本発明の第２５の実施の形態における電子透かし検出装置の動作のフローチャートである。
【０５３２】
第１の実施の形態との相違について説明すると、図１３７のように第１の実施の形態と同様にして差分画像生成部２３０で出力された差分画像（本実施の形態では差分画像（Ａ）と表記）を位相差分計測部３６０に入力し、位相差分計測部３６０において差分画像（Ａ）から位相パターンを生成し（ステップ２０４０）、現在取得した位相パターンと、以前に取得した位相パターンとの位相差を測定し、位相差に基づいて新たに差分画像（Ｂ）を構成して出力する（ステップ２０５０）。電子透かし検出部２４０は差分画像（Ｂ）を入力し、第１の実施の形態と同様に差分画像（Ｂ）から電子透かし検出を行う（ステップ２０７０）。
【０５３３】
図１３８は、本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図である。
【０５３４】
位相差分計測部３６０は差分画像（Ａ）を入力とする。位相差分計測部３６０は、差分画像（Ａ）を埋め込み時と同様にブロック分割し、各ブロック毎にCb成分、Cr成分の総和をそれぞれ求め、その結果（Cb，Cr）をCb−Cr座標系の点として表した際の振幅Ｒと位相θを求め、これらを位相パターンの当該ブロック位置に対応する要素の値として設定する。位相パターンは各要素位置毎に振幅と位相をとるような配列であり、その各要素は差分画像の各ブロックと対応付けられている。
【０５３５】
次に位相差分計測部３６０は、図１３９のように、位相パターンバッファ３７０に蓄積されている以前に取得した位相パターンと、現在取得した位相パターンを比較し、各要素の位相差に基づいてプラスまたはマイナスの符号を決定し、さらに二つの位相パターンのそれぞれの振幅が大きいほど大きな値をとるような単調増加関数を用いて新たな振幅を決定し、上記符号と上記振幅を値として持つ差分画像（Ｂ）の各要素値を決定する。
【０５３６】
図１４０Ａ、Ｂは、本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図である。
【０５３７】
現在取得した位相パターンのある要素の位相値θと、以前に取得した位相パターンの対応する要素の位相値θ'の位相差θ−θ'を求め、その値が０〜πの範囲内であれば符号"＋"を、−π〜０の範囲内であれば符号"−"を選択するようにする。また、現在取得した位相パターンのある要素の振幅値Ｒと、以前に取得した位相パターンの対応する要素の振幅値Ｒ'から、新たな振幅値ρを求めるのに用いる単調増加関数の例としては、例えばρ（Ｒ，Ｒ'）＝Ｒ＋Ｒ'であるとか、ρ（Ｒ，Ｒ'）＝Ｒ×Ｒ'などを用いることができる。振幅値Ｒ，Ｒ'に対して単調増加とする理由は、透かし信号が強く残っている、すなわち振幅Ｒ，Ｒ'が大きいものほど重みをつけることによって電子透かしの検出性能を改善するためである。
【０５３８】
全ての要素について符号選択と新たな振幅値を求める処理を終えた後、差分画像（Ｂ）を電子透かし検出部に送り、差分画像（Ｂ）からの透かし検出を試みる。なお、今回取得した位相パターンは、後の検出試行に利用するため、位相パターンバッファ３７０に蓄積しておく。
【０５３９】
次に、検出時のキャプチャタイミングが異なる例をいくつか用いて、本実施の形態の原理を説明する。
【０５４０】
図１４１のキャプチャ例Ａは１／１５秒毎、すなわち１フレームおきにフレームキャプチャを行う例である。隣接キャプチャフレーム(図１４１中では（１），（２），（３），（４），…等と表記)間で得られる差分画像（Ａ）（図１４１中では(ａ)、(ｂ)、(ｃ)、…などと表記）中の透かしパターンのCb−Cr値を考えると、図１３３における符号パターンが正の要素については図１４２のように、負の要素については図１４３のようにCb−Cr成分値をベクトルとみなした場合の差分を求めた結果となっている。これは差分画像の計算がCb成分、Cr成分の各項の差分計算に対応するためであり（これにより原画像成分が大幅に抑圧される）、差分画像（Ａ）中では、図１４２や図１４３のような複数の位相が得られることは第２１の実施の形態で述べたとおりである。
【０５４１】
本実施の形態では差分画像（Ａ）を得た後、さらに差分画像（Ａ）のCb−Cr成分の位相値を元に位相パターンを生成し、時間的に隣接している位相パターン間の位相差を計測している（図１４１中では位相パターン間の位相差分データを（α）、（β）、(γ)、…などと表記）。その状況を図１４４(符号パターンが正の場合)及び図１４５(符号パターンが負の場合)に示す。図１４４及び図１４５では、位相の差を求めることによって、位相パターンの位相差から埋め込み時の透かしパターンの位相差２π／３が、どのような隣接キャプチャフレーム間でも等しく得られることが分かる。
【０５４２】
本実施の形態では、位相差の正負を用いて差分画像（Ｂ）の符号を定めて電子透かし検出を行うが、今述べたとおり位相差が埋め込み時の符号パターンと対応付けられているため、電子透かしの検出が可能であることは自明である。すなわちキャプチャフレームのどのタイミングからでも同様に電子透かし検出を行うことができる。
【０５４３】
図１４６に、キャプチャ例Ａ（図１４１）とは異なるキャプチャ例Ｂを示す。キャプチャ例Ｂはキャプチャ例Ａと同じく１／１５秒毎のキャプチャであるが、キャプチャ開始のタイミングがずれている場合である。キャプチャ例Ｂの場合、まず差分画像（Ａ）を生成すると、キャプチャ例Ａ（図１４１）とは各キャプチャフレームに埋め込まれている透かしパターンの位相がずれているため、差分画像（Ａ）中の透かしパターンのCb−Cr値（位相パターンの位相値）の組み合わせは、図１４７及び図１４８のようにキャプチャ例Ａの場合（図１４２及び図１４３）と比較して異なっている。このことから、差分画像（Ａ）中の透かしパターンのCb−Cr値（位相パターンの位相値）の組み合わせのみから透かし情報を検出する第２１の実施の形態の場合では、符号パターン"＋"または"−"を分類することができるが、二つのグループのどちらが"＋"であるか、あるいは"−"であるかが分からない、ということが分かる。
【０５４４】
しかしながら本実施の形態では、さらに図１４９及び図１５０のように隣接する差分画像（Ａ）の位相差を計測することで、常に埋め込み時の符号パターン要素と同じ符号を検出することができる。すなわち本実施の形態によれば、キャプチャ例Ａとキャプチャ例Ｂの差はなく、任意のキャプチャ開始タイミングにおいて同様に電子透かし検出を行うことができる。
【０５４５】
図１５１に、キャプチャ例Ａ，Ｂとは異なる、キャプチャ例Ｃを示す。キャプチャ例Ｃは、キャプチャのタイミングが１／３０秒間隔であったり１／１５秒間隔であったり一定でない場合である。キャプチャ例Ｃの場合、まず差分画像（Ａ）を生成すると、図１５２及び図１５３のようにキャプチャ例Ａ及びキャプチャ例Ｂとは異なる組み合わせで、差分画像（Ａ）中のCb−Cr値（位相パターン中の位相値）が得られる。またキャプチャ例Ｃのようにキャプチャの時間間隔が各々異なる場合には、差分画像（Ａ）中のCb−Cr値（位相パターン中の位相値）を２つに分類することが困難なため、第２１の実施の形態のような方法では検出が困難となる。
【０５４６】
しかしながら本実施の形態では、さらに図１５４及び図１５５のように隣接する差分画像（Ａ）の位相差を計測する。この際、位相差の値はキャプチャ時間間隔が変動することによりまちまちであるが、位相差から定まる符号（０〜π→＋、−π〜０→−）は、キャプチャ時間間隔によらず一定で、かつ埋め込み時の符号パターンと同じ値をとる。これにより、本実施の形態によればキャプチャ例Ｃのようにキャプチャ時間間隔が変動する場合においても、問題なく電子透かし検出を行うことができる。
【０５４７】
図１５６に、キャプチャ例Ａ，Ｂ，Ｃとは異なる、キャプチャ例Ｄを示す、動画像のカメラキャプチャなどの場合では、シャッター速度が遅い場合に１枚のキャプチャフレームに複数の動画像フレームが多重に露出されて合成されてしまうことがある。例えば図１５６のキャプチャ例Ｄでは、１／３０秒毎に表示されている動画フレームが多重露出により１枚のキャプチャフレームに合成されている。しかし、この合成で得られるキャプチャフレーム中の透かしパターンの位相は多重化された各々の動画像フレーム中の位相の合成であるから（複数フレームのCb、Cr成分各項を適当な比率で重み平均することで合成画像が得られるので）、図１５７のように、多重化された各々の動画像フレーム中の位相の中間の値をとる(図１５７は２枚のフレームが丁度１:１の比率で多重露出により合成された例を示しているが、例えば２:１などでもその内分比率に応じた中間値をとることは明らかである)。キャプチャ例Ｄの場合、まず差分画像（Ａ）を生成すると、図１５８及び図１５９のようにキャプチャ例Ａ，Ｂ，Ｃとは異なる組み合わせで、差分画像（Ａ）中のCb−Cr値（位相パターン中の位相値）が得られる。キャプチャ例Ｄのように多重露出されたキャプチャフレームの場合、差分画像（Ａ）中のCb−Cr値（位相パターン中の位相値）を２つに分類することが困難なため、第２１の実施の形態のような方法では検出が困難となる。
【０５４８】
しかしながら本実施の形態では、さらに図１６０及び図１６１のように隣接する差分画像（Ａ）の位相差を計測することで、常に埋め込み時の符号パターン要素と同じ符号を検出することができる。すなわち本実施の形態によればキャプチャ時のタイミングが動画像のフレーム表示タイミングより細かい任意の時間ずれにおいて、仮にキャプチャフレーム中に複数の動画像フレームが多重露出されて合成されている場合であっても、同様に電子透かし検出を行うことができる。
【０５４９】
この「差分から得られる透かしパターンがキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に一定」という特性は極めて重要である。例えば第１の実施の形態の変調方法（Ａ−１）は差分画像中の透かしパターンが反転すると検出透かし情報のビットが反転するため、位相を特定するために第４または第５の実施の形態のような工夫を必要としていた。
【０５５０】
また、第１の実施の形態のその他の変調方法も、例えば、第６または、第９の実施の形態のように、透かし情報や検出対象領域の検出性能向上のために差分画像を蓄積する際に、位相を合わせる必要があるため各種工夫を用いていたが、本実施の形態を用いることでこの問題は一切解消し、差分のとり方によらず透かしパターンは一定であるから、当然検出透かし情報のビット反転は起きないし、差分画像（本実施の形態における差分画像（Ｂ））の加算蓄積の際に位相を気にすることなく単純に加算をするだけで済む。
【０５５１】
また、第８の実施の形態のように透かし情報をデータブロックに分割して時間方向で順次埋め込みを行うような場合に、第１の実施の形態のような変調方法では、図１２４に示すようにデータブロックの境界にまたがった差分画像では、正しくない透かし情報を検出してしまう危険性があった。そのため安全を確保するためにはデータブロック区間の間に透かしを埋め込まない区間を挟む必要があり、これによって単位時間あたりの透かし情報長が減ってしまうという問題があった。
【０５５２】
しかし、本実施の形態を用いれば、透かしの情報は位相差分変動によって表されるので、直前のデータブロック終端での位相パターンに、今回のデータブロック情報を表す位相差分変動を与えて埋め込みを行えば、検出時にデータブロック境界にまたがった差分画像を得ても、その差分から正しくデータブロック情報を検出することができる。これによって無用なブランクを挟み込まず連続的にデータブロックを切り替えて埋め込み・検出をすることができるので、単位時間あたりの透かし情報量を増大させることもできる。
【０５５３】
さらに第２１の実施の形態では困難であった、キャプチャ間隔が変動した場合、及び多重露出により複数の動画像フレームが合成されたキャプチャフレームとなる場合においても、本実施の形態によれば先に述べたとおり問題なく検出可能であり、かつ上記各実施の形態との組み合わせによる効果も享受することができる。
【０５５４】
なお、本実施の形態を、第１乃至第２４の実施の形態の各々の工夫を任意に組み合わせても実施できることは自明である。すなわち本実施の形態における位相差分計測部の処理を各実施の形態における対応する箇所（電子透かし検出部や検出対象領域抽出部の前など）に挿入して処理を行えば先に述べた効果を実現することができる。他実施の形態との組み合わせの場合は、本実施の形態における差分画像（Ｂ）を、差分画像あるいは検出対象領域画像と読み替えればよい。以下、各実施の形態に対して本実施の形態の工夫を適用する場合について簡単に説明すると、
・実施の形態１，２,３，４，５，６，７，８，９，１０,１１，１２，２１,２２，２３，２４:電子透かし検出装置の差分画像生成部の出力を差分画像（Ａ）として位相差分計測部に入力し、差分画像（Ｂ）を得てこれを電子透かし検出部に入力する；
・実施の形態１３，１４，１５，１６，１７，１８，１９，２０:検出対象領域抽出部の出力である検出対象領域画像を、本実施の形態の差分画像（Ａ）として位相差分計測部に入力し、差分画像（Ｂ）を得てこれを電子透かし検出部に入力する；
のようにすれば良い。
【０５５５】
＜第２５の実施の形態の効果＞
本実施の形態によれば、透かしの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像（Ａ）を生成し、さらに時間的に隣接した差分画像（Ａ）の位相差分を計測し、位相差を用いて得られる差分画像（Ｂ）から電子透かし検出を行うので、先に述べたとおり、検出時のキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出が可能となる。これによって透かし情報のビット反転を防いだり、差分画像蓄積時に位相を合わせる必要がなくなり、単純に差分画像を加算蓄積するようにすれば良いので、装置構成の単純化、処理の高速化、及び位相同期信号を不要とすることによって透かし情報長増大や耐性向上を実現できる。
【０５５６】
また、第８の実施の形態のようなデータブロック利用型の場合に、データブロック間に無用なブランクを挟まなくても検出情報の信頼性を担保できるので、単位時間あたりの透かし情報長の増大を実現できる。また、検出装置のキャプチャタイミングが変動する場合や、カメラ撮影などにより複数の動画像フレームが多重露出によって合成されてキャプチャされる場合でも、一切の問題なく電子透かし検出が可能であるため、電子透かし検出装置２００における動画像入力部２１０の構成を簡単にしたり（正確なクロックでキャプチャしなくてもよい）、カメラのようなアナログ光学的読み取りの場合における電子透かし検出性能を向上させることが可能となる。
【０５５７】
［第２６の実施の形態］
本実施の形態では、透かしの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像（Ａ）を生成し、さらに時間的に隣接した差分画像（Ａ）の位相差分を計測し、位相差を用いて得られる差分画像（Ｂ）を生成し、差分画像（Ｂ）を加算蓄積して検出対象領域を抽出し、検出対象領域画像から電子透かし検出を行うので、先に述べたとおり、検出時のキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出を可能とし、撮影角度によって生じる歪みの影響を補正し、かつ蓄積によって透かしの耐性を向上させ、より安定的な電子透かし検出を実現するものである。
【０５５８】
図１６２は、本発明の第２６の実施の形態における電子透かし埋め込み装置の構成図である。
【０５５９】
同図に示す電子透かし埋め込み装置１００は、フレーム画像取得部１１０、透かしパターン生成部１２０、透かしパターン重畳部１３０、動画像データ再構成部１４０から構成される。本実施の形態の電子透かし埋め込み装置１００は、原動画像データ、透かし情報、透かしパターン切り替え情報を入力とする。
【０５６０】
図１６３は、本発明の第２６の実施の形態における電子透かし埋め込み装置の動作のフローチャートである。
【０５６１】
ステップ１００）  まずフレーム画像取得部１１０で図１６４のように原動画像データからフレーム画像及び該フレーム画像の表示時刻を一枚ずつ順次取得する。ここでフレーム画像表示時刻とは、例えばタイムコードと再生時のフレームレートから定まる動画像の先頭からの絶対的な時刻を表すものでも良いし、あるいは再生時のフレーム間の相対的な時間間隔が測れるようなものでも良い。フレーム画像取得部１１０は、入力動画像データがMPEGなどの符号化データである場合は、復号を行うなどしてフレーム画像を取得する。
【０５６２】
ステップ１１０）  続いて透かしパターン生成部１２０において、透かし情報、フレーム表示時刻、透かしパターン切り替え情報を用いて透かしパターンを生成する。
【０５６３】
ステップ１２０）  次に透かしパターン重畳部１３０において、該透かしパターンをフレーム画像に重畳して透かし入りフレーム画像を生成する。
【０５６４】
ステップ１３０）  最後に動画像データ再構成部１４０において、順次生成される透かし入りフレーム画像の列を、動画像データとして再構成して透かし入り動画像データとして出力する。この際、必要ならばMPEGエンコードなどの符号化を行っても良い。
【０５６５】
図１６５は、本発明の第２６の実施の形態における透かしパターン生成部の構成図であり、図１６６は、本発明の第２６の実施の形態における透かしパターン生成部の動作のフローチャートである。
【０５６６】
透かしパターン生成部１２０は、基本透かしパターン生成部１２１と透かしパターン切り替え部１２２を有し、透かし情報、透かしパターン切り替え情報、フレーム表示時刻を入力とする。
【０５６７】
ステップ２１００）  まず基本透かしパターン生成部１２１において、透かし情報を２次元パターンである基本透かしパターンに変換する。この変換の仕方は、第１の実施の形態に示したように様々な方法があり得るが、本実施の形態では説明を簡単にするために、第１の実施の形態の変調方法を用いることとする。
【０５６８】
図１６７に基本透かしパターン生成部１２１の処理の例を示す。本実施の形態では、透かし情報のビット値を拡散系列によって直接スペクトラム拡散変調して得られる系列の値に応じて、画素値の大小を対応付ける方法を用いる。このとき基本透かしパターンの各画素値は正または負の値をとるものとする。
【０５６９】
ステップ２１１０）  透かしパターン生成部１２０は、続いて透かしパターン切り替え部１２２において、フレーム表示時刻と透かしパターン切り替え情報の関係から、基本透かしパターンの位相反転の要否を判定し、必要に応じて基本透かしパターンの位相を変更し、透かしパターンとして出力する。
【０５７０】
図１６８は、本発明の第２６の実施の形態における透かしパターン切り替え部の構成図である。
【０５７１】
透かしパターン切り替え部１２２は、符号パターン生成部１２２１、透かしパターン切り替え位相変動値算出部１２２２、透かし位相差分パターン生成部１２２３、透かし位相パターン生成部１２２４、透かし位相パターン画像化部１２２５を有する。
【０５７２】
図１６９は、本発明の第２６の実施の形態における透かしパターン切り替え部の動作のフローチャートである。
【０５７３】
ステップ２２００）  透かしパターン切り替え部１２２は、まず符号パターン生成部１２２１において、基本透かしパターンを符号パターンに変換する。
【０５７４】
ステップ２２１０）  次に透かしパターン切り替え位相変動値算出部１２２２において、フレーム表示時刻で表される直前のフレームと今回のフレームの時間差に基づいて、透かしパターン切り替え情報で表される透かしパターン切り替え位相の差分値を求め、これを透かしパターン切り替え位相変動値とする。
【０５７５】
ステップ２２２０）  次に透かし位相差分パターン生成部１２２３において、符号パターンで表される符号を持ち、透かしパターン切り替え位相変動値を絶対値として持つ、透かし位相差分パターンを生成する。
【０５７６】
ステップ２２３０）  次に透かし位相パターン生成部１２２４において、直前のフレームに対する透かし位相パターンの各要素値に対し、今回の透かし位相差分パターンを位相差として与えて、今回の透かし位相パターンを得る。
【０５７７】
ステップ２２４０）  最後に透かし位相パターン画像化部１２２５において、透かし位相パターンを画像パターンに変換し、その結果を透かしパターンとして出力する。
【０５７８】
図１７０は、本発明の第２６の実施の形態における透かしパターン切り替え情報の例を説明するための図である。
【０５７９】
本実施の形態における電子透かし埋め込み装置１００における透かしパターン生成部１２０の透かしパターン切り替え情報はパターンの反転について直接的に指示する情報ではなく、６／３０秒で一周期となる正弦波など、連続的な関数で表現されるものであり、具体的には正弦波の周期を示すような情報である。実際には入力される動画像は特定のフレームレート、例えば３０フレーム/秒のような離散的なフレーム画像群として与えられるので、図１７０の下図のように、正弦波上を離散的にサンプリングして埋め込みに用いることになる。なお、本実施の形態では以下に示すように、正弦波の周期に対する位相の値を用いる。
【０５８０】
図１７１は、本発明の第２６の実施の形態における透かしパターン切り替え部の処理を説明するための図である。
【０５８１】
透かしパターン切り替え部１２２では、まず入力された基本透かしパターンの濃淡値を、符号パターンに変換する。符号パターンは、基本透かしパターンの各濃淡値の＋または−の符号を取り出し、大きさを１とした値を各要素値として持つ配列である。
【０５８２】
次に、入力されたフレーム表示時刻を透かしパターン切り替え情報の時間軸にとり、フレーム表示時刻に対応する透かしパターン切り替え情報の周期に対する位相（以下透かしパターン切り替え位相と呼ぶ）を取得する。そして直前のフレームに対する透かしパターン切り替え位相との間の位相変動値を求め（図１７１では＋π／３）、これを透かしパターン切り替え位相変動値とし、この透かしパターン切り替え位相変動値に符号パターンの要素値を掛けたものを透かし位相差分パターンとする。そして直前のフレームに対応する透かし位相パターンの各要素値に対して透かし位相パターンの各要素値を位相変動量として与え、今回の透かし位相パターンとする。透かし位相パターンは符号パターンと同じサイズの配列であり、各要素は０〜２πの位相値をとる。透かし位相パターンの各要素の初期値は任意の値でかまわない。
【０５８３】
上記のようにして透かし位相パターンを取得した後、透かし位相パターン画像化部１２２５において透かし位相パターンを透かしパターンに変換する。変換の仕方としては、例えば図１７２に示すように、透かし位相パターンの各要素値を、画像の２つ以上の成分、図ではYCbCr表色系におけるCbとCrを直行軸においた座標系における原点（０，０）を中心とした半径ｒ（ｒは所与の値)の円上の、角度が位相パターン要素値の点に対応付ける。この結果得られるCb−Cr座標系のCb座標、Cr座標を、当該位相パターンの要素に対応する透かしパターンの画素値として、すべての透かしパターンの画素値を求める。このようにして得られた透かしパターンは、各画素複数の成分値を持つパターンとなる。
【０５８４】
なお、本実施の形態ではCb，Crを例として用いたが、RGB表色系のＲ−Ｇを用いたり、あるいはXYZ表色系におけるＸ−Ｙを用いたり、HSV表色系のHue-Saturationを用いたり（この場合はHue-Saturationを直交座標にとるのではなく、位相値を直接Hue値に設定し、所与のSaturation値を持つようにしても良い）など、様々な方法があり得る。
【０５８５】
また、各軸毎の変動量に対する視覚感度が異なる場合には、適宜スケールを補正して各軸の変動量と視覚感度が一致するようにしても良い(例えば図１３４において円ではなく楕円を用いるなど)。本実施の形態においてはYCbCr表色系では、Ｙに比べて知覚されづらいという理由でCbとCr成分を用いた例を示している。また、複数の画像成分ではなく、単一の成分、例えば輝度成分などを用いて本実施の形態を実施するには、第１の実施の形態の変調方法（Ａ−２）のように、基本透かしパターンに波形パターンを用いて、波形パターンの位相を変動させることで、本実施の形態と同様に位相差分変動を用いた電子透かし埋め込みが実現できる。
【０５８６】
このようにして得られた透かしパターンを、図１７３に示すように、透かしパターン重畳部１３０において適宜透かしパターンの振幅を変更して、順次フレーム画像に重畳することにより、透かし入り動画像が得られることについては第１の実施の形態と同様である。この際、透かしパターンをフレーム画像以下のサイズにスケーリングし、フレーム画像の中央に重畳するものとする。なお、Cb−Crを用いた場合は、透かしパターンの振幅を調整するとは、Cb−Cr座標系における振幅（図１７２における点ａ０と原点との距離）を増減することになる。また、Hue-Saturationを用いる場合はSaturationを増減することにあたる。
【０５８７】
また、基本透かしパターンが２値ではなく多値の場合は、基本透かしパターンの画素値の絶対値の大きさに応じて、対応する透かしパターンの画素値の振幅を増減させても良い。最後に動画像データ再構成部１４０において、上記の処理により順次生成される透かし入りフレーム画像を動画像データとして再構成して透かし入り動画像データとして出力する。再構成の際にはMPEGエンコードなどの符号化を行っても良い。
【０５８８】
以上が本実施の形態における電子透かし埋め込み装置の説明である。
【０５８９】
次に、本実施の形態における電子透かし検出装置について説明する。
【０５９０】
図１７４は、本発明の第２６の実施の形態における電子透かし検出装置の構成図である。
【０５９１】
電子透かし検出装置２００は、動画像入力部２１０、特徴領域抽出部２９０、差分画像生成部２３０、位相差分計算部３６０、検出対象領域抽出部２２０、電子透かし検出部２４０、特徴領域画像バッファ３０２、位相パターンバッファ３７０、差分画像（Ｂ）蓄積バッファ３９０を有する。
【０５９２】
電子透かし検出装置２００は、ＴＶなどにディスプレイ表示されたアナログ動画像、あるいはMPEGエンコードされたようなディジタル動画像を入力とする。
【０５９３】
図１７５は、本発明の第２６の実施の形態における電子透かし検出装置の動作のフローチャートである。
【０５９４】
ステップ２３００）  動画像入力部２１０において、アナログまたはディジタル動画像を入力し順次フレーム画像を取得する。アナログ動画像の入力の際はカメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であればデコード処理などを行ってフレーム画像を取得する。
【０５９５】
ステップ２３１０）  次に特徴領域抽出部２９０において、第１６の実施の形態などと同様にキャプチャしたフレーム画像中の特徴領域を抽出して特徴領域画像を得る。
【０５９６】
ステップ２３２０）  次に差分画像生成部２３０において、現在取得した特徴領域画像と、特徴領域画像バッファ３０２に蓄積されている以前に取得した特徴領域画像との差分画像を生成し、差分画像（Ａ）として出力する。
【０５９７】
ステップ２３３０）  また、次の検出試行に備えて、特徴領域画像バッファ３０２に今回の特徴領域画像をバッファリングしておく。
【０５９８】
ステップ２３４０）  続いて位相差分計測部３６０において、差分画像（Ａ）を位相パターンに変換する。
【０５９９】
ステップ２３５０）  位相差分計測部３６０において、現在取得した位相パターンと、位相パターンバッファ３７０に蓄積されている以前に取得した位相パターンとの位相差を計測し、この位相差と上記２つの位相パターンの振幅値に基づいて新たに差分画像（Ｂ）を生成する。
【０６００】
ステップ２３６０〜２３８０）  次に検出対象領域抽出部２２０において、今回の差分画像（Ｂ）を差分画像（Ｂ）蓄積バッファ３９０に加算蓄積し、蓄積された差分画像（Ｂ）から検出対象領域を抽出し、検出対象領域画像を得る。
【０６０１】
ステップ２３９０）  最後に、電子透かし検出部２４０において、検出対象領域画像からの電子透かし検出を試み、検出結果を出力する。
【０６０２】
ステップ２４００）  電子透かし検出が成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す。
【０６０３】
図１７６は、本発明の第２６の実施の形態における特徴領域抽出部の処理を説明するための図である。
【０６０４】
特徴領域抽出部２９０はフレーム画像を入力とし、フレーム画像中の特徴領域を第１６の実施の形態などと同様に抽出し、特徴領域画像を得る。
【０６０５】
図１７７は、本発明の第２６の実施の形態における差分画像生成部の処理を説明するための図である。差分画像生成部２３０は特徴領域画像を入力とする。差分画像生成部２３０は、現在入力された特徴領域画像と、特徴領域画像バッファ３０２に蓄積されている、以前に取得した特徴領域画像の差分画像を生成し、差分画像（Ａ）として出力する。差分処理は、R，G，BやＹ，Cb，Crなどの各成分毎の引き算によって行われる。また、次の検出試行に備えて、特徴領域画像バッファ３０２に今回の特徴領域画像をバッファリングしておく。
【０６０６】
図１７８は、本発明の第２６の実施の形態における位相差分計算部の処理の内容を説明するための図である。
【０６０７】
位相差分計測部３６０は差分画像（Ａ）を入力とする。位相差分計測部３６０は、差分画像（Ａ）の各画素毎にCb成分、Cr成分をそれぞれ求め、その結果（cb，cr）をCb−Cr座標系の点として表した際の振幅Ｒと位相θを求め、これらを位相パターンの当該画素位置に対応する要素の値として設定する。位相パターンは各要素位置毎に振幅と位相をとるような配列であり、その各要素は差分画像の各画素と対応付けられている。
【０６０８】
次に位相差分計測部３６０は、図１７９のように、位相パターンバッファ３７０に蓄積されている以前に取得した位相パターンと、現在取得した位相パターンを比較し、各要素の位相差に基づいてプラスまたはマイナスの符号を決定し、さらに二つの位相パターンのそれぞれの振幅が大きいほど大きな値をとるような単調増加関数を用いて新たな振幅を決定し、上記符号と上記振幅を値として持つ差分画像（Ｂ）の各要素値を決定する。
【０６０９】
図１８０Ａ、Ｂに位相差による符号選択方法の例を示す。現在取得した位相パターンのある要素の位相値θと、以前に取得した位相パターンの対応する要素の位相値θ'の位相差θ−θ'を求め、その値が０〜πの範囲内であれば符号"＋"を、−π〜０の範囲内であれば符号"−"を選択するようにする。また、現在取得した位相パターンのある要素の振幅値Ｒと、以前に取得した位相パターンの対応する要素の振幅値Ｒ'から、新たな振幅値ρを求めるのに用いる単調増加関数の例としては、例えばρ（Ｒ，Ｒ'）＝Ｒ＋Ｒ'であるとか、ρ（Ｒ，Ｒ'）＝Ｒ×Ｒ'などを用いることができる。振幅値Ｒ，Ｒ'に対して単調増加とする理由は、透かし信号が強く残っている、すなわち振幅Ｒ，Ｒ'が大きいものほど重みをつけることによって電子透かしの検出性能を改善するためである。全ての要素について符号選択と新たな振幅値を求める処理を終えた後、差分画像（Ｂ）を出力する。また、次の検出試行に備えて、位相パターンバッファ３７０に今回の位相パターンをバッファリングしておく。
【０６１０】
次に検出対象領域抽出部２２０の処理の内容を説明する。
【０６１１】
検出対象領域抽出部２２０は差分画像（Ｂ）を入力とする。検出対象領域抽出部２２０は、入力された差分画像（Ｂ）を差分画像（Ｂ）蓄積バッファ３９０に加算蓄積する。
【０６１２】
図１８１は、本発明の第２６の実施の形態における差分画像（Ｂ）蓄積バッファを説明するための図である。差分画像（Ｂ）蓄積バッファ３９０は、差分画像（Ｂ）と同じサイズの画素配列であり、新たに入力された差分画像（Ｂ）の各画素毎に、差分画像（Ｂ）蓄積バッファ３９０の対応する画素位置に画素値を加算する。
【０６１３】
図１８２は、本発明の第２６の実施の形態における検出対象領域抽出部の処理を説明するための図である。検出対象領域抽出部２２０では、上記のように差分画像（Ｂ）を差分画像（Ｂ）蓄積バッファ３９０に加算蓄積した後、差分画像（Ｂ）蓄積バッファ３９０の画素値を絶対値化して、その中から第１３の実施の形態などと同様にして検出対象領域を抽出する。そして絶対値化前の差分画像（Ｂ）蓄積バッファ３９０の検出対象領域の画像を、所与のサイズの矩形となるように歪み補正し、さらにサイズ正規化して、検出対象領域画像を生成して出力する。
【０６１４】
上記のような処理による検出対象領域抽出部２２０の効果を説明する。位相差分計測部３６０において得られる差分画像（Ｂ）について考えると、透かしパターンが埋め込まれている画素領域については、透かしパターン埋め込まれていない画素領域に比べ画素値の絶対値が一般に大きい。これは透かしパターンが各キャプチャフレーム毎に異なるため、透かしパターンが埋め込まれている画素領域については差分画像（Ａ）の画素値の絶対値が大きいが、透かしパターンが埋め込まれていない画素領域については、原画成分が時間相関が高いため、差分画像（Ａ）の画素値の絶対値が小さいためである。また、位相差分計測部３６０において、位相差分を用いて差分画像（Ｂ）の画素値の符号を決定しているため、第２５の実施の形態で述べたとおり、キャプチャタイミングによらず、透かしパターンが埋め込まれている画素領域については同一画素位置で常に同一の符号である。そのため差分画像（Ｂ）蓄積バッファ３９０で加算蓄積すると、加算の度に絶対値が大きくなるようになる。しかし透かしパターンが埋め込まれていない画素領域については、符号が同一とはならずにまちまちであり、先に述べた画素値の絶対値が小さいことと合わせて、加算蓄積によって画素値の絶対値はそれほど大きくならず、相対的に透かしパターンが埋め込まれている画素領域とのコントラストが、加算蓄積の度に大きくなっていく。このため、加算蓄積によって得られる差分画像（Ｂ）バッファ３９０の画素値を絶対値化すれば、透かしパターンの正負の違いが無くなり、背景領域である透かしパターンが埋め込まれていない画素領域中に、透かしパターンが埋め込まれた画素領域が高いコントラストで浮かび上がる。これにより透かしパターンが埋め込まれた領域を検出対象領域として確実に抽出することができる。
【０６１５】
さらに加算蓄積によって図１８１のように透かしパターンが相対的に強まることから、次に述べる電子透かし検出において検出性能を改善し、より高い耐性をもつ電子透かし検出を実現することができる。
【０６１６】
最後に電子透かし検出部２４０は検出対象領域画像を入力とし、検出対象領域画像からの電子透かし検出を試みる。図１８３を用いて電子透かし検出部２４０の処理例を説明する。図１８３は電子透かし埋め込み時の変調方法（Ａ−１）に対応する検出時の復調方法である（文献１）。
【０６１７】
まず検出対象領域画像を埋め込み時の透かしパターンのブロックの個数にブロック分割する。次にブロック内の画素値の合計を求め、ブロック順に並べて一次元の系列である検出対象系列を得る。次に、埋め込み時の１ビットに対応する区間を検出対象系列から取り出し、拡散系列の対応する区間と相関演算を行う。相関値がプラスの大きな値であればビット値"１"を検出、マイナスの大きな値であればビット値"０"を検出として、全てのビットについて検出処理を行う。また必要に応じて検出処理を終えた透かし情報に誤り訂正・検出復号処理などを施しても良い。電子透かしの検出に成功しなかった場合は引き続き動画像入力部２１０のフレームキャプチャ処理に復帰し、検出試行を繰り返す。あるいは動画像の入力が終了したら検出処理を終了する。
【０６１８】
＜第２６の実施の形態の効果＞
本実施の形態によれば、第２５の実施の形態と同様にどのようなタイミングで動画像をキャプチャしても問題がないという効果に加え、差分画像（Ａ）から差分画像（Ｂ）を各画素毎に得て、差分画像（Ｂ）を加算蓄積し、絶対値化したものから検出対象領域を抽出して電子透かし検出を行うことにより、さらに第１９の実施の形態の効果を兼ね備えることができる。
【０６１９】
また、透かしの情報を位相差分変動として埋め込みを行うため、差分画像（Ｂ）の加算蓄積においてはそのまま画素値の加算で良く、さらに透かし情報のビットが反転しないため、第１９の実施の形態と比較してもより簡易でかつ効率的な電子透かし方式となっている。
【０６２０】
また、本実施の形態によれば、様々な工夫によりキャプチャしたフレームレーム画像中のどの部分から電子透かし検出を行えば良いかを特定して、さまざまな撮影角度や背景画像の条件下でも、確実に電子透かし検出可能とすることができ、さらに電子透かしの検出性能を向上させている。これによってテレビなどの動画像をカメラで撮影し、撮影した動画からリアルタイムに電子透かし検出処理を確実に行うことが可能となる。
【０６２１】
また、上記の形態における電子透かし埋め込み装置１００、電子透かし検出装置２００の各動作をプログラムとして構築し、電子透かし埋め込み装置、電子透かし検出装置として用いられるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。また、当該プログラムをＣＤ−ＲＯＭ、電子メモリ等のコンピュータ読み取り可能な記録媒体に格納して利用することも可能である。
【０６２２】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。また、本発明は、電子透かし技術に適用可能であり、本発明は上記の実施の形態のみに限定されるものではなく、例えば３次元表示システム、３次元撮影システムや音声情報などへの適用、赤外線などの知覚不可能な信号領域への適用などさまざまな適用が可能である。
【０６２３】
［効果］
本発明の実施の形態によれば、動画像のフレームに対して時間的に切り替わる透かしパターンの埋め込みを行うことにより、動画像の各フレームに対して固定のパターンを埋め込むのではなく、高速に切り替わるパターンを埋め込むことになり、人間の視覚特性における時間周波数特性について高周波に対する視覚感度が低いことが知られているから、透かし埋め込みによる画質劣化を低減することができる。
【０６２４】
また、検出の際には、カメラなどアナログ入力デバイスから連続して入力されるフレーム画像に対して、時間的に近接した２枚のキャプチャフレーム画像の差分画像を生成して電子透かし検出を行うことから、電子透かし信号にとって雑音となる原画像信号を大幅にキャンセルすることができ、電子透かし検出性能の向上を実現できる。
【０６２５】
また、埋め込み時の透かしパターンの切り替えタイミングが検出側で既知であれば、キャプチャした２枚のフレームの時刻を用いて、差分画像に透かしパターンが残存するものを選択でき、無駄な電子透かし検出を行う必要がなくなる。さらに、検出側のカメラのキャプチャタイミング、あるいは、差分画像取得時の２枚の画像の時間差を、透かしパターン切り替えタイミングに合わせて制御することで、常に差分画像中に透かしパターンが残存するようにでき、効率的な電子透かし検出が可能となる。
【０６２６】
また、差分画像中の透かしパターンの位相を判定することで、透かしパターンの位相の反転によって検出透かし情報のビットが反転するタイプの変調方法を用いた場合でも、正しい透かし情報を検出することができる。この際、透かし情報中の１ビットを位相判定用のフラグとして用いてもよいし、あるいは、透かし情報とは別個の位相判定用電子透かしを用いても良い。
【０６２７】
また、連続したキャプチャによって順次得られる差分情報を、位相を合わせた上で加算蓄積することで、透かしパターンの強度を相対的に増加させ、蓄積バッファからの電子透かし検出を試みることで、１枚の差分画像からでは十分な検出性能が得られない場合でも、検出可能とすることができる。なお、位相を合わせるためには上記位相反転用のフラグを用いたり、透かし情報とは別個の位相判定用透かしを用いる方法の他、スペクトラム拡散変調における相関値の符号極性を用いる方法も有り得る。
【０６２８】
また、電子透かし検出の際に算出される相関値を順次加算蓄積し、蓄積された相関値を評価して検出可否判定を行うことで、１枚の差分画像からでは十分な検出性能が得られない場合でも検出可能とすることができる。この際、差分画像の位相を合わせることで、相関値が常に同じ位相で蓄積されるようにしたり、相関値の絶対値を蓄積するようにしてもよい。
【０６２９】
また、埋め込み情報を小データブロックに分割し、時間方向でデータブロックを切替えて埋め込みを行い、検出時はデータブロック毎に検出を行って得られたデータブロックを連結することで、より長い透かし情報を埋め込み・検出が可能となる。さらに、一つの差分画像に対するときの処理と同様に、小データブロック毎検出ごとに差分位相判定を行ったり、データブロックの順番を表すデータブロックＩＤを埋め込みによって位相判定を兼ねたり、位相を合わせた差分画像蓄積を行ったり、相関値の蓄積を行ったりして、更に電子透かしの検出性能を向上させることも可能である。
【０６３０】
さらに、カメラからのリアルタイム検出処理を行う状況下では、電子透かし検出処理の状況を、リアルタイムにフィードバック出力することで、インタラクティブ性が増すことによって利便性が向上する。特に、検出しやすい状況となるようにユーザを促すことにより、検出性能の向上が期待できる。
【０６３１】
さらに、透かし情報を透かしパターンの位相差分変動として埋め込み行うことにより、差分画像の取得タイミングによらず、一定の透かしパターンを含むように差分画像を得ることができる。これによって透かし情報のビット反転を防いだり、差分画像蓄積時や相関値蓄積時に位相を合わせる必要がなくなり、単純に加算蓄積するようにすればよいので、装置構成の単純化、処理の高速化、及び位相同期信号を不要とすることに透かし情報長増大や耐性向上を実現できる。また、データブロック利用型の場合に、データブロック間に無用なブランクを挟まなくても検出情報の信頼性を担保できるので、単位時間あたりの透かし情報長の増大を実現できる。
【０６３２】
また、本発明の実施の形態によれば、動画像のフレームに対して時間的に切り替わる透かしパターンの埋め込みを行う際に、動画像データのフレームサイズより小さい透かしパターンを重畳する。また、検出時にはキャプチャで得られたフレーム画像間の差分画像を生成し、差分の大きな領域、即ち、電子透かし検出対象となる領域を差分画像中から抽出することで、撮影角度や背景画像によらず安定的な電子透かし検出を実現できる。
【０６３３】
また、キャプチャフレーム毎に特徴領域の歪みを補正、サイズ正規化を行って得られる特徴領域画像間の差分画像から検出対象領域を抽出することにより、撮影中にカメラが動いても安定的に検出対象領域を抽出することが可能となる。
【０６３４】
さらに、埋め込み時に異なる情報を表すような複数の透かしパターンを画像中のオブジェクトなどと関連付けて配置して重畳し、検出時には差分画像中から複数の検出対象領域を抽出するようにして、同時に複数の電子透かし情報を検出したり、オブジェクト毎に異なる情報を抽出することが可能となる。
【０６３５】
また、透かしの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像（Ａ）を生成し、更に時間的に隣接した差分画像（Ａ）の位相差分を計測し、位相差を用いて得られる差分画像（Ｂ）から電子透かしの検出を行うので、検出時のキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出が可能となる。
【０６３６】
さらに、透かしの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像（Ａ）を生成し、さらに時間的に隣接した差分画像（Ａ）の位相差分を計測し、位相差を用いて得られる差分画像（Ｂ）を生成し、差分画像（Ｂ）を加算蓄積して検出対象領域を抽出し、検出対象領域画像から電子透かし検出を行うので、先に述べたとおり、検出時のキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出が可能となるほか、撮影角度によって生じる歪みの影響を補正し、かつ蓄積によって透かしの耐性を向上させ、より安定的な電子透かし検出を実現することが可能となる。
【０６３７】
また、埋め込み時の透かしパターンの切り替えタイミングが検出側で既知であれば、キャプチャした２枚のフレームの時刻を用いて、差分画像に透かしパターンが残存するものを選択でき、無駄な電子透かし検出を行う必要がなくなる。さらに、検出側のカメラのキャプチャタイミング、あるいは、差分画像取得時の２枚の画像の時間差を、透かしパターン切り替えタイミングに合わせて制御することで、常に差分画像中に透かしパターンが残存するようにでき、効率的な電子透かし検出が可能となる。
【０６３８】
また、本発明の実施の形態によれば、動画像のフレームに対して時間的に切り替わる透かしパターンの埋め込みを行う際に、動画像データのフレームサイズより小さい透かしパターンを重畳する。また、検出時にはキャプチャで得られたフレーム画像間の差分画像を生成し、差分の大きな領域、即ち、電子透かし検出対象となる領域を差分画像中から抽出することで、撮影角度や背景画像によらず安定的な電子透かし検出を実現できる。
【０６３９】
また、キャプチャフレーム毎に特徴領域を抽出し、特徴領域の歪みを補正、サイズ正規化を行って得られる特徴領域画像間の差分画像から検出対象領域を抽出することにより、撮影中にカメラが動いても安定的に検出対象領域を抽出することが可能となる。
【０６４０】
また、検出対象領域や特徴領域の探索時に、以前に電子透かし検出状況が良好であった時の位置の近傍のみを探索することで、より安定的な領域抽出が可能となる。
【０６４１】
また、差分画像を加算蓄積し、加算蓄積した差分画像中から検出対象領域を抽出することで、更に安定的な領域抽出や、電子透かし検出性能の向上が可能となる。
【０６４２】
さらに、埋め込み時に異なる情報を表すような複数の透かしパターンを画像中のオブジェクトなどと関連付けて配置して重畳し、検出時には差分画像中から複数の検出対象領域を抽出するようにして、同時に複数の電子透かし情報を検出したり、オブジェクト毎に異なる情報を抽出することが可能となる。
【０６４３】
また、撮影時のフレーム画像中の検出対象領域の画素サイズが小さい場合に、自動的にズームインしてより大きな画素サイズの検出対象領域を取得することができる。一般に画素サンプルが少なくなると電子透かし検出が困難になるため、ズームインして検出対象領域の画素サンプル数を増大させることで、電子透かしの検出性能を向上させることができる。
【０６４４】
以上述べたとおり、本発明の実施の形態によれば、様々な工夫により電子透かしの検出性能を向上させることで、テレビなどの動画像をカメラで撮影し、撮影した動画からリアルタイムに電子透かし検出処理を行うことが可能となる。
【０６４５】
また、キャプチャしたフレーム画像中のどの部分からで電子透かし検出を行えばよいかを特定して、様々な撮影角度や背景画像の条件下でも確実に電子透かし検出を可能とすることができ、さらに、電子透かしの検出性能を向上させている。これによって、テレビなどの動画像をカメラで撮影し、撮影した動画からリアルタイムに電子透かし検出処理を確実に行うことが可能となる。
【０６４６】
本発明の実施の形態によって、例えば、テレビで視聴中の映像をカメラ付携帯電話機で撮影して、視聴番組関連情報を取得したり、あるいはクイズ番組や視聴者アンケートの選択肢を透かし検出によって選択し、その結果を通信によって放送局に送ることで、リアルタイムに番組内容にフィードバックするようなインタラクティブテレビ放送を実現したり、あるいは、従来はバーコードなどを必要としていた拡張現実感システムにおいて、不可視な電子透かしを用いることでバーコードを不要として不自然さを解消したり、あるいはテレビゲームなどにおいて操作対象のオブジェクトを透かし検出で特定するなどによってゲーム操作に用いたり、あるいは街頭のオーロラビジョンなどで上記と同様なアプリケーションを実施したり、あるいはＰＣ（パーソナルコンピュータ）などの表示画面に透かしを埋め込み、これをカメラ付携帯電話機で撮影することで、ＰＣから携帯電話機へ情報を送って機器の連携を行ったり、あるいは静止画像を複製して任意のｎ枚（ｎは２以上の整数）にし、ｎフレームの動画像と見做して本発明を適用し、アニメーションＧＩＦなどの方法で符号化しておき、これをブラウザ画面などで表示することで、表示画面上の静止画像に対しても透かし埋め込み・検出ができるようにしたり、あるいは、ＰＣ上でＨＴＭＬなどのハイパーテキストを解析してブラウザなどに表示する際に、ハイパーリンクの張られたオブジェクトの表示領域に本発明を用いてハイパーリンク情報を埋め込み、ＰＣの表示画面上をカメラ付携帯電話機で撮影して携帯電話機でブラウズをしたり、あるいは、携帯電話機の表示画面を用いて上記の応用を行うことによる携帯電話機間連携や携帯電話機→ＰＣ連携など、極めて広範囲な応用分野を持つ。さらに、従来からの電子透かし技術の適用目的である、著作権管理、著作権保護などにも適用可能であることは明らかである。
【符号の説明】
【０６４７】
１００  電子透かし埋め込み装置
１１０  フレーム画像取得部
１２０  透かしパターン生成部
１２１  基本透かしパターン生成部
１２２  透かしパターン切り替え部
１２３  透かし情報分解部
１３０  透かしパターン重畳部
１４０  動画像データ再構成部
２００  電子透かし検出装置
２１０  動画像入力部
２２０  検出対象領域抽出部
２３０  差分画像生成部
２４０  電子透かし検出部
２４１  差分画像位相判定部
２４２  透かし情報検出部
２４３  相関演算部
２４４  検出可否判定部
２４６  データブロックＩＤ検出部
２４７  データブロック情報検出部
２４８  データブロックＩＤ＝ｎ用差分画像蓄積バッファ
２４９  相関演算部
２５０  検出対象領域画像バッファ
２５１  データブロックＩＤ＝ｎ用相関値バッファ
２５５  差分画像蓄積バッファ
２６０  検出要否判定部
２６５  フィードバック出力部
２７０  キャプチャタイミング制御部
２８０  検出データブロック蓄積部
２８１  検出データブロックバッファリング部
２８２  検出完了確認部
２８３  検出透かし情報バッファ
２９０  特徴領域抽出部
３０１  フレーム画像バッファ
３０２  特徴領域画像バッファ
３０３  差分フレーム画像バッファ
３０４  特徴領域差分画像バッファ
３１０  ズーム処理部
３６０  位相差分計測部
３７０  位相パターンバッファ
３９０  差分画像（Ｂ）蓄積バッファ
１２２１  符号パターン生成部
１２２２  透かしパターン切り替え位相変動値算出部
１２２３  透かし位相差分パターン生成部
１２２４  透かし位相パターン生成部
１２２５  透かし位相パターン画像化部
【図１Ａ】
0005550760.tif 000002
【図１Ｂ】
0005550760.tif 000003
【図２Ａ】
0005550760.tif 000004
【図２Ｂ】
0005550760.tif 000005
【図３Ａ】
0005550760.tif 000006
【図３Ｂ】
0005550760.tif 000007
【図４Ａ】
0005550760.tif 000008
【図４Ｂ】
0005550760.tif 000009
【図５Ａ】
0005550760.tif 000010
【図５Ｂ】
0005550760.tif 000011
【図６Ａ】
0005550760.tif 000012
【図６Ｂ】
0005550760.tif 000013
【図７】
0005550760.tif 000014
【図８】
0005550760.tif 000015
【図９】
0005550760.tif 000016
【図１０】
0005550760.tif 000017
【図１１】
0005550760.tif 000018
【図１４Ａ】
0005550760.tif 000019
【図１４Ｂ】
0005550760.tif 000020
【図１４Ｃ】
0005550760.tif 000021
【図１５】
0005550760.tif 000022
【図１７】
0005550760.tif 000023
【図１８】
0005550760.tif 000024
【図１９】
0005550760.tif 000025
【図２０】
0005550760.tif 000026
【図２１】
0005550760.tif 000027
【図２２】
0005550760.tif 000028
【図２３】
0005550760.tif 000029
【図２４】
0005550760.tif 000030
【図２５】
0005550760.tif 000031
【図２６】
0005550760.tif 000032
【図２７】
0005550760.tif 000033
【図２８Ａ】
0005550760.tif 000034
【図２８Ｂ】
0005550760.tif 000035
【図２９】
0005550760.tif 000036
【図３０】
0005550760.tif 000037
【図３１】
0005550760.tif 000038
【図３２】
0005550760.tif 000039
【図３３Ａ】
0005550760.tif 000040
【図３３Ｂ】
0005550760.tif 000041
【図３４Ａ】
0005550760.tif 000042
【図３４Ｂ】
0005550760.tif 000043
【図３５】
0005550760.tif 000044
【図３６】
0005550760.tif 000045
【図３７】
0005550760.tif 000046
【図３８】
0005550760.tif 000047
【図３９】
0005550760.tif 000048
【図４０】
0005550760.tif 000049
【図４１】
0005550760.tif 000050
【図４２】
0005550760.tif 000051
【図４３】
0005550760.tif 000052
【図４４】
0005550760.tif 000053
【図４５】
0005550760.tif 000054
【図４６】
0005550760.tif 000055
【図４７】
0005550760.tif 000056
【図４８Ａ】
0005550760.tif 000057
【図４８Ｂ】
0005550760.tif 000058
【図４９】
0005550760.tif 000059
【図５０】
0005550760.tif 000060
【図５１】
0005550760.tif 000061
【図５２Ａ】
0005550760.tif 000062
【図５２Ｂ】
0005550760.tif 000063
【図５３】
0005550760.tif 000064
【図５４】
0005550760.tif 000065
【図５５】
0005550760.tif 000066
【図５６】
0005550760.tif 000067
【図５７】
0005550760.tif 000068
【図５８】
0005550760.tif 000069
【図５９】
0005550760.tif 000070
【図６０】
0005550760.tif 000071
【図６１】
0005550760.tif 000072
【図６２】
0005550760.tif 000073
【図６３】
0005550760.tif 000074
【図６４】
0005550760.tif 000075
【図６５】
0005550760.tif 000076
【図６６】
0005550760.tif 000077
【図７０】
0005550760.tif 000078
【図７１】
0005550760.tif 000079
【図７２】
0005550760.tif 000080
【図７３】
0005550760.tif 000081
【図７４】
0005550760.tif 000082
【図７５】
0005550760.tif 000083
【図７６】
0005550760.tif 000084
【図７７】
0005550760.tif 000085
【図７８】
0005550760.tif 000086
【図７９】
0005550760.tif 000087
【図８０】
0005550760.tif 000088
【図８１Ａ】
0005550760.tif 000089
【図８１Ｂ】
0005550760.tif 000090
【図８３】
0005550760.tif 000091
【図８４】
0005550760.tif 000092
【図８５】
0005550760.tif 000093
【図８６】
0005550760.tif 000094
【図８７】
0005550760.tif 000095
【図８８】
0005550760.tif 000096
【図８９】
0005550760.tif 000097
【図９０】
0005550760.tif 000098
【図９１】
0005550760.tif 000099
【図９２】
0005550760.tif 000100
【図９３】
0005550760.tif 000101
【図９４】
0005550760.tif 000102
【図９５】
0005550760.tif 000103
【図９６】
0005550760.tif 000104
【図９７】
0005550760.tif 000105
【図９８】
0005550760.tif 000106
【図９９】
0005550760.tif 000107
【図１００】
0005550760.tif 000108
【図１０１】
0005550760.tif 000109
【図１０２】
0005550760.tif 000110
【図１０３】
0005550760.tif 000111
【図１０４】
0005550760.tif 000112
【図１０５】
0005550760.tif 000113
【図１０６】
0005550760.tif 000114
【図１０７】
0005550760.tif 000115
【図１０８】
0005550760.tif 000116
【図１０９】
0005550760.tif 000117
【図１１０】
0005550760.tif 000118
【図１１１】
0005550760.tif 000119
【図１１２】
0005550760.tif 000120
【図１１３】
0005550760.tif 000121
【図１１４】
0005550760.tif 000122
【図１１５】
0005550760.tif 000123
【図１１６】
0005550760.tif 000124
【図１１７】
0005550760.tif 000125
【図１１８】
0005550760.tif 000126
【図１１９】
0005550760.tif 000127
【図１２０】
0005550760.tif 000128
【図１２１】
0005550760.tif 000129
【図１２２】
0005550760.tif 000130
【図１２３】
0005550760.tif 000131
【図１２４】
0005550760.tif 000132
【図１２５】
0005550760.tif 000133
【図１２６Ａ】
0005550760.tif 000134
【図１２６Ｂ】
0005550760.tif 000135
【図１２７】
0005550760.tif 000136
【図１２９】
0005550760.tif 000137
【図１３０】
0005550760.tif 000138
【図１３１Ａ】
0005550760.tif 000139
【図１３１Ｂ】
0005550760.tif 000140
【図１３２】
0005550760.tif 000141
【図１３３】
0005550760.tif 000142
【図１３４】
0005550760.tif 000143
【図１３５】
0005550760.tif 000144
【図１３６】
0005550760.tif 000145
【図１３７】
0005550760.tif 000146
【図１３８】
0005550760.tif 000147
【図１３９】
0005550760.tif 000148
【図１４０Ａ】
0005550760.tif 000149
【図１４０Ｂ】
0005550760.tif 000150
【図１４１】
0005550760.tif 000151
【図１４２】
0005550760.tif 000152
【図１４３】
0005550760.tif 000153
【図１４４】
0005550760.tif 000154
【図１４５】
0005550760.tif 000155
【図１４６】
0005550760.tif 000156
【図１４７】
0005550760.tif 000157
【図１４８】
0005550760.tif 000158
【図１４９】
0005550760.tif 000159
【図１５０】
0005550760.tif 000160
【図１５１】
0005550760.tif 000161
【図１５２】
0005550760.tif 000162
【図１５３】
0005550760.tif 000163
【図１５４】
0005550760.tif 000164
【図１５５】
0005550760.tif 000165
【図１５６】
0005550760.tif 000166
【図１５７】
0005550760.tif 000167
【図１５８】
0005550760.tif 000168
【図１５９】
0005550760.tif 000169
【図１６０】
0005550760.tif 000170
【図１６１】
0005550760.tif 000171
【図１６２】
0005550760.tif 000172
【図１６３】
0005550760.tif 000173
【図１６４】
0005550760.tif 000174
【図１６５】
0005550760.tif 000175
【図１６６】
0005550760.tif 000176
【図１６７】
0005550760.tif 000177
【図１６８】
0005550760.tif 000178
【図１６９】
0005550760.tif 000179
【図１７０】
0005550760.tif 000180
【図１７１】
0005550760.tif 000181
【図１７２】
0005550760.tif 000182
【図１７３】
0005550760.tif 000183
【図１７４】
0005550760.tif 000184
【図１７５】
0005550760.tif 000185
【図１７６】
0005550760.tif 000186
【図１７７】
0005550760.tif 000187
【図１７８】
0005550760.tif 000188
【図１７９】
0005550760.tif 000189
【図１８０Ａ】
0005550760.tif 000190
【図１８０Ｂ】
0005550760.tif 000191
【図１８１】
0005550760.tif 000192
【図１８２】
0005550760.tif 000193
【図１８３】
0005550760.tif 000194
【図１２】
0005550760.tif 000195
【図１３】
0005550760.tif 000196
【図１６】
0005550760.tif 000197
【図６７】
0005550760.tif 000198
【図６８】
0005550760.tif 000199
【図６９】
0005550760.tif 000200
【図８２】
0005550760.tif 000201
【図１２８】
0005550760.tif 000202