(57)【要約】      （修正有）【課題】関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し電子透かし情報を隠蔽することのできる電子透かし処理方法および装置を提供する。【解決手段】電子透かし処理方法は、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報から与えられた時系列を各関節の角度，座標、またはその両方を用いてパラメータ表現されたパラメータ時系列情報をパラメータ空間で領域分割するステップと、時系列情報の各パラメータの時間変化を個別に周波数分解するステップと、あらかじめ生成された任意の数値の組み合わせを用いて特定の周波数成分を振幅変調するステップと、得られた値を周波数合成するステップとの処理をコンピュータにより実行することにより、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対して任意の数値の組み合わせを電子透かし情報として当該関節運動情報に隠蔽する。【選択図】図１
2006148201.tif 000002
【特許請求の範囲】
【請求項１】
関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、任意の数値の組み合わせを電子透かし情報として当該関節運動情報に隠蔽する電子透かし処理方法であって、
関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報から与えられた時系列を各関節の角度，座標、またはその両方を用いてパラメータ表現されたパラメータ時系列情報をパラメータ空間で領域分割するステップと、
時系列情報の各パラメータの時間変化を個別に周波数分解するステップと、
あらかじめ生成された任意の数値の組み合わせを用いて特定の周波数成分を振幅変調するステップと、
得られた値を周波数合成するステップと
の処理をコンピュータにより実行することを特徴とする電子透かし処理方法。
【請求項２】
請求項１に記載の電子透かし処理方法において電子透かし情報が隠蔽された関節運動情報から当該電子透かし情報を抽出する電子透かし処理方法であって、
電子透かし情報が隠蔽された関節運動情報と電子透かし情報が隠蔽されていない関節運動情報とをパラメータ表現された２つの時系列情報をパラメータ空間で領域分割するステップと、
２つの時系列情報の各パラメータの時間変化を個別に周波数分解するステップと、
２つの時系列情報に対応する同一周波数の成分を比較するステップと、
比較結果により関節運動情報に隠蔽された電子透かし情報の数値の組み合わせ情報の数値を抽出するステップと
の処理をコンピュータにより実行することを特徴とする電子透かし処理方法。
【請求項３】
関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、電子透かし情報として任意の数値の組み合わせを関節運動情報中の個別の関節運動および個別の時間領域に対して隠蔽する電子透かし処理方法であって、
関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報から与えられた時系列を各関節の角度，座標、またはその両方を用いてパラメータ表現された時系列情報をパラメータ空間で領域分割するステップと、
パラメータ表現された時系列情報に対し各パラメータを時間領域分割するステップと、
分割した各領域に対して時系列情報の各パラメータの時間変化を個別に周波数分解するステップと、
分割した各領域に対してあらかじめ生成された任意の数値の組み合わせを用いて特定の周波数成分を振幅変調するステップと、
各領域に対して得られた値を周波数合成するステップと
の処理をコンピュータにより実行することを特徴とする電子透かし処理方法。
【請求項４】
請求項３に記載の電子透かし処理方法において電子透かし情報が隠蔽された関節運動情報から関節運動情報中の個別の関節運動、および個別の時間領域に隠蔽された数値を抽出する電子透かし処理方法であって、
電子透かし情報が隠蔽された関節運動情報と電子透かし情報が隠蔽されていない関節運動情報とをパラメータ表現された２つの時系列情報をパラメータ空間で領域分割するステップと、
パラメータ表現された２つの時系列情報に対し各パラメータを時間領域分割するステップと、
分割した各領域に対して２つの時系列情報の各パラメータの時間変化を個別に周波数分解するステップと、
分割した各領域に対して２つの時系列情報に対応する同一周波数の成分を比較するステップと、
分割した各領域に対して比較結果により関節運動情報に隠蔽された電子透かし情報の数値の組み合わせ情報の数値を抽出するステップと
の処理をコンピュータにより実行することを特徴とする電子透かし処理方法。
【請求項５】
請求項１乃至４のいずれかに記載の電子透かし処理方法において、
電子透かし情報とする任意の数値の組み合わせは著作権を表現する情報とする
ことを特徴とする電子透かし処理方法。
【請求項６】
請求項１乃至４のいずれかに記載の電子透かし処理方法において、
関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、
与えられた運動を微小に変化させることによって、別の秘密情報を関節運動情報に隠蔽する
ことを特徴とする電子透かし処理方法。
【請求項７】
関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、任意の数値の組み合わせを電子透かし情報として当該関節運動情報に隠蔽する電子透かし処理装置であって、
関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報から与えられた時系列を各関節の角度，座標、またはその両方を用いてパラメータ表現されたパラメータ時系列情報をパラメータ空間で領域分割するデータ処理手段と、
時系列情報の各パラメータの時間変化を個別に周波数分解するデータ処理手段と、
あらかじめ生成された任意の数値の組み合わせを用いて特定の周波数成分を振幅変調するデータ処理手段と、
得られた値を周波数合成するデータ処理手段と
を有することを特徴とする電子透かし処理装置。
【請求項８】
請求項７に記載の電子透かし処理装置において電子透かし情報が隠蔽された関節運動情報から当該電子透かし情報を抽出する電子透かし処理装置であって、
電子透かし情報が隠蔽された関節運動情報と電子透かし情報が隠蔽されていない関節運動情報とをパラメータ表現された２つの時系列情報をパラメータ空間で領域分割するデータ処理手段と、
２つの時系列情報の各パラメータの時間変化を個別に周波数分解するデータ処理手段と、
２つの時系列情報に対応する同一周波数の成分を比較するデータ処理手段と、
比較結果により関節運動情報に隠蔽された電子透かし情報の数値の組み合わせ情報の数値を抽出するデータ処理手段と
を有することを特徴とする電子透かし処理装置。
【請求項９】
関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、電子透かし情報として任意の数値の組み合わせを関節運動情報中の個別の関節運動および個別の時間領域に対して隠蔽する電子透かし処理装置であって、
関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報から与えられた時系列を各関節の角度，座標、またはその両方を用いてパラメータ表現された時系列情報をパラメータ空間で領域分割するデータ処理手段と、
パラメータ表現された時系列情報に対し各パラメータを時間領域分割するデータ処理手段と、
分割した各領域に対して時系列情報の各パラメータの時間変化を個別に周波数分解するデータ処理手段と、
分割した各領域に対してあらかじめ生成された任意の数値の組み合わせを用いて特定の周波数成分を振幅変調するデータ処理手段と、
各領域に対して得られた値を周波数合成するデータ処理手段と
を有することを特徴とする電子透かし処理装置。
【請求項１０】
請求項９に記載の電子透かし処理装置において電子透かし情報が隠蔽された関節運動情報から関節運動情報中の個別の関節運動、および個別の時間領域に隠蔽された数値を抽出する電子透かし処理装置であって、
電子透かし情報が隠蔽された関節運動情報と電子透かし情報が隠蔽されていない関節運動情報とをパラメータ表現された２つの時系列情報をパラメータ空間で領域分割するデータ処理手段と、
パラメータ表現された２つの時系列情報に対し各パラメータを時間領域分割するデータ処理手段と、
分割した各領域に対して２つの時系列情報の各パラメータの時間変化を個別に周波数分解するデータ処理手段と、
分割した各領域に対して２つの時系列情報に対応する同一周波数の成分を比較するデータ処理手段と、
分割した各領域に対して比較結果により関節運動情報に隠蔽された電子透かし情報の数値の組み合わせ情報の数値を抽出するデータ処理手段と
を有することを特徴とする電子透かし処理装置。
【請求項１１】
請求項７乃至１０のいずれかに記載の電子透かし処理装置において、
電子透かし情報とする任意の数値の組み合わせは著作権を表現する情報とする
ことを特徴とする電子透かし処理装置。
【請求項１２】
請求項７乃至１０のいずれかに記載の電子透かし処理装置において、
関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、
与えられた運動を微小に変化させることによって、別の秘密情報を関節運動情報に隠蔽する
ことを特徴とする電子透かし処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対して、任意の数値の組み合わせを電子透かし情報として隠蔽する関節運動情報の電子透かし処理方法および装置に関するものである。
【背景技術】
【０００２】
人間の動作を光学式、あるいは機械式のセンサで直接読み取るモーションキャプチャ技術の進歩により、取得した人間の関節運動の時系列情報を、映画やゲームなどのデジタルメディアコンテンツの製作素材として利用することが容易となってきた。モーションキャプチャは高価な機材と高度な技術を要するシステムであり、取得した関節運動情報の著作権を保護する必要である。映像娯楽産業を中心とした情報流通産業界では、取得した情報の不正な２次利用を抑止するために、電子透かしが有効であると考えられている（非特許文献１を参照）。
【０００３】
電子透かしとは、電子情報が与えられたときに、その電子情報を人間が知覚できないように変更することによって、与えられた電子情報の内部に別の情報を隠蔽する処理を行うことである。このような別の情報の隠蔽を、電子透かしの埋め込みと呼び、隠蔽された情報の取得を、電子透かしの抽出と呼ぶ（非特許文献２を参照）。
【０００４】
電子透かしを用いて著作者を識別できる著作権情報を電子情報に埋め込み、当該電子情報（情報媒体）の著作権保護を実現するためには、電子透かしを埋め込んだ電子情報の編集に対して当該電子透かしが失われないという性質が重要である。このような電子透かしを埋め込んだ電子情報（情報媒体）に対して、編集あるいは悪意のある攻撃に対する耐性が高くなるように設計された電子透かしを、頑健な電子透かしと呼ぶ。
【０００５】
現在最も用いられている頑健な電子透かしの方法論は、Coxらによって提案されたスペクトル拡散符号化を用いた手法である。この方法では、埋め込みとなる電子情報を周波数分解し、得られた周波数係数うち最も大きいものを振幅変調し、再び周波数合成することにより透かしを埋め込む。この手法の対象となる電子情報媒体は、音声、静止画、動画などであり、より高次元の抽象度の高い媒体に対する適用の方法は自明ではない（特許文献１を参照）。
【０００６】
スペクトル拡散符号化を用いた抽象度の高い媒体に対する頑健な電子透かし法の一つとして、メッシュ表現された形状情報媒体に対する電子透かし法が挙げられる。この手法では、メッシュに対する多重解像度処理を定義し、ウェーブレット変換を用いた周波数分解を利用して、Coxらのスペクトル拡散符号化を適用している（特許文献２を参照）。
【非特許文献１】Bobby Bodenheimer,Chuck Rose, Seth Rosenthal, and John Pella. The process of motion capture -dealing with the data. In Proc. the Eurographics Workshop on Computer Animationand Simulation, pages 3?18, 1997.
【非特許文献２】Ingemar Cox, MatthewMiller, and Jeffrey Bloom. Digital watermarking. Morgan Kaufmann PublishersInc., Pine Street, San Fransisco, 2002.
【非特許文献３】Jernej Barbic, AllaSafonova, Jia-Yu Pan, Christos Faloutsos, Jessica K. Hodgins, and Nancy S.Pollard. Segmenting motion capture data into distinct behaviors. In Proc.Graphics Interface 2004, pages 185 - 194, 2004.
【非特許文献４】Paul J. Besl and NeilD. McKay. A method for registration of 3-d shapes. IEEE Transactions on PatternAnalysis
【非特許文献５】Saul A. TeukolskyWilliam H. Press, Brian P. Flannery and William T. Vetterling. NumericalRecipes in C. Cambridge University Press, 1988.
【特許文献１】特開２００３−２２４７１３号公報
【特許文献２】特開２０００−８２１５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
これまでのところ、関節運動情報に対する著作権を保護する手法は提案されていない。また、関節運動情報に対する電子透かしの埋め込み手法も提案されていない。本発明はこのような課題を解決するための手法を提案する。
【０００８】
本発明が解決しようとする課題として、電子透かしの頑健性の向上が挙げられる。関節運動情報は、製作素材として用いられるという性格上、利用されるに際にさまざまな形で編集されるため、埋め込んだ電子透かしが消えてしまうという問題がある。また、編集の自由度が高いことから、音響情報、映像情報、形状情報など、ほかの電子情報媒体に対する電子透かしと比較した場合、はるかに高い安全性を実現しなくてはならない。
【０００９】
頑健性を向上させる工夫としては、電子透かしの埋め込みの際に、関節運動情報を分割して、それにより透かしの埋め込みを冗長に行うことによって頑健性を向上させる。本発明の手法では、理論的には、ひとつの運動情報に１００回以上同一の透かしを埋め込むことが可能であり、これにより運動情報のうちひとつの関節の、ある特定の時間領域における動きのみからもとの電子透かしを抽出することが可能となる。
【００１０】
本発明が解決する別の課題として、透かしを埋め込んだ電子媒体の編集に伴う大幅な情報の喪失に対する対策が挙げられる。関節運動情報を利用して、コンピュータグラフィクス・アニメーションを作成した場合、立体的な関節運動が平面的な関節運動に射影されて情報が失われるため、既存の電子透かしの手法では著作権を保護することができない。したがって、平面に射影された情報からもとの情報を復元する手法が必要である。
【００１１】
本発明の目的は、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、任意の数値の組み合わせを電子透かし情報として、これを著作権情報として隠蔽することのできる関節運動情報のための電子透かし処理方法および装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記のような目的を達成するため、本発明による電子透かし処理方法は、第１の特徴として、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、任意の数値の組み合わせを電子透かし情報として当該関節運動情報に隠蔽する電子透かし処理方法であって、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報から与えられた時系列を各関節の角度，座標、またはその両方を用いてパラメータ表現されたパラメータ時系列情報をパラメータ空間で領域分割するステップと、時系列情報の各パラメータの時間変化を個別に周波数分解するステップと、あらかじめ生成された任意の数値の組み合わせを用いて特定の周波数成分を振幅変調するステップと、得られた値を周波数合成するステップとの処理をコンピュータにより実行することを特徴とする。電子透かし処理装置は、これらの処理を実行する要素としてそれぞれのデータ処理手段を備える。
【００１３】
また、本発明による電子透かし処理方法は、第２の特徴として、電子透かし情報が隠蔽された関節運動情報から当該電子透かし情報を抽出する電子透かし処理方法であって、電子透かし情報が隠蔽された関節運動情報と電子透かし情報が隠蔽されていない関節運動情報とをパラメータ表現された２つの時系列情報をパラメータ空間で領域分割するステップと、２つの時系列情報の各パラメータの時間変化を個別に周波数分解するステップと、２つの時系列情報に対応する同一周波数の成分を比較するステップと、比較結果により関節運動情報に隠蔽された電子透かし情報の数値の組み合わせ情報の数値を抽出するステップとの処理をコンピュータにより実行することを特徴とする。電子透かし処理装置は、これらの処理を実行する要素としてそれぞれのデータ処理手段を備える。
【００１４】
本発明による電子透かし処理方法は、第３の特徴として、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、電子透かし情報として任意の数値の組み合わせを関節運動情報中の個別の関節運動および個別の時間領域に対して隠蔽する電子透かし処理方法であって、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報から与えられた時系列を各関節の角度，座標、またはその両方を用いてパラメータ表現された時系列情報をパラメータ空間で領域分割するステップと、パラメータ表現された時系列情報に対し各パラメータを時間領域分割するステップと、分割した各領域に対して時系列情報の各パラメータの時間変化を個別に周波数分解するステップと、分割した各領域に対してあらかじめ生成された任意の数値の組み合わせを用いて特定の周波数成分を振幅変調するステップと、各領域に対して得られた値を周波数合成するステップとの処理をコンピュータにより実行することを特徴とする。電子透かし処理装置は、これらの処理を実行する要素としてそれぞれのデータ処理手段を備える。
【００１５】
本発明による電子透かし処理方法は、第４の特徴として、電子透かし情報が隠蔽された関節運動情報から関節運動情報中の個別の関節運動、および個別の時間領域に隠蔽された数値を抽出する電子透かし処理方法であって、電子透かし情報が隠蔽された関節運動情報と電子透かし情報が隠蔽されていない関節運動情報とをパラメータ表現された２つの時系列情報をパラメータ空間で領域分割するステップと、パラメータ表現された２つの時系列情報に対し各パラメータを時間領域分割するステップと、分割した各領域に対して２つの時系列情報の各パラメータの時間変化を個別に周波数分解するステップと、分割した各領域に対して２つの時系列情報に対応する同一周波数の成分を比較するステップと、分割した各領域に対して比較結果により関節運動情報に隠蔽された電子透かし情報の数値の組み合わせ情報の数値を抽出するステップとの処理をコンピュータにより実行することを特徴とする。電子透かし処理装置は、これらの処理を実行する要素としてそれぞれのデータ処理手段を備える。
【００１６】
また、本発明による電子透かし処理方法および装置において、電子透かし情報とする任意の数値の組み合わせは著作権を表現する情報とするようにされてもよく、また、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、与えられた運動を微小に変化させることによって、別の秘密情報を関節運動情報に隠蔽するようにされても良い。
【００１７】
上記のような特徴を有する本発明による電子透かし処理方法および電子透かし処理装置は、要約すると、電子透かしの埋め込みの処理においては、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、与えられた時系列を各関節の角度または座標、またはその両方を用いてパラメータ表現し、パラメータ空間で領域分割し、各部分運動情報の時間変化を個別に周波数分解し、あらかじめ生成しておいた数値の組み合わせを用いて特定の周波数成分を振幅変調し、得られた値を周波数合成する。これにより、任意の数値の組み合わせを電子透かし情報として、関節運動情報に隠蔽することができる。数値を秘密情報とすることによって、データの所有者を著作権保持者と特定することが可能となる。
【００１８】
関節運動情報に隠蔽された電子透かし情報の抽出は、ある関節運動情報に電子透かしが埋め込まれている可能性がある場合、元の運動情報と位置合わせし、一対一対応が取れるように再サンプル化を行い、透かしの埋め込み時と同様の領域分割および周波数分解を行い、周波数係数の比を取る。これにより、電子透かし情報が抽出できる。そして、抽出された電子透かしと、過去に埋め込んだ電子透かし情報の類似性を統計的なテストによって判定し、類似している場合には著作権侵害とみなす判定結果を出力する。
【００１９】
また、本発明においては、平面に射影された情報からもとの情報を復元するために、平面状の運動情報を元の立体的な運動情報にフィッティングする。この処理を行うため、射影変換の逆変換を推定するための非線形最適化法を用いる。
【００２０】
また、関節運動情報に対する電子透かし情報として、著作権情報を用いて、その埋め込みを行い、それにより当該情報媒体の著作権を保護することができる。
【発明の効果】
【００２１】
このように、本発明の電子透かし処理方法および装置によれば、関節運動情報に対する電子透かし処理として、関節運動情報を空間的・時間的に領域分割して、電子透かし情報の埋め込みを行う。この場合、各領域内の関節の角度または座標の時間変化に対してスペクトル拡散符号化法を適用することにより、電子透かしでは、スペクトル拡散符号化法を利用しているという特徴から、ノイズの付加、平滑化、周波数透過フィルタ処理などの通常の信号処理に対する透かしの頑健性を保障することができる。
【００２２】
また、時間的・空間的領域分割を用いた透かしの埋め込みの冗長化によって、運動情報が部分的に自由変形や非線形変換などを受けた場合にも、残された情報から透かしを抽出することができる。
【００２３】
さらに、本発明の電子透かし処理方法および装置によれば、関節運動情報に対して電子透かし処理を行うことから、平面に射影された情報からもとの情報を復元する非線形最適化法を用いることによって、コンピュータグラフィクス技術によって作成された動画像から、その中で用いられていた運動情報（関節運動情報）に埋めこんだ電子透かし情報を検出することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明を実施する場合の形態について、図面を参照して説明する。図１は、本発明による電子透かし処理装置の構成および電子透かし処理の流れを説明するための説明図である。図１に示されるブロックは、また、本発明による電子透かし処理方法の処理フローを示している。図１において、左側の処理フローは、電子透かし情報を関節運動情報に埋め込む場合の処理フローを示しており、右側の処理フローは、電子透かし情報が埋め込まれた関節運動情報から、そこに埋め込まれた電子透かし情報を抽出する場合の処理フローを示している。また、図２は、パラメータ空間中でひとつの連続した曲線となる関節運動情報の中の軌跡を例示する図である。図３は、２次元画像情報から３次元関節運動情報の再構成を説明する図であり、図４は、関節運動情報の再サンプリングを説明する図である。これらの図を参照して説明する。
【００２５】
図１の左側の処理フローに示すように、電子透かし情報の埋め込みの処理においては、まず、前処理としてシステムに、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報と、電子透かし情報とする任意の数字の組み合わせ情報が与えられる。この電子透かし情報は、振幅変調するステップの処理に用いられる。関節運動情報は、まず、領域分割するステップの処理が行われる。ここでは、関節運動情報の与えられた時系列を各関節の角度，座標、またはその両方を用いてパラメータ表現されたパラメータ時系列情報をパラメータ空間で領域分割する。次に、周波数分解するステップの処理が行われる。この処理では、時系列情報の各パラメータの時間変化を個別に周波数分解する。そして、振幅変調するステップの処理において、電子透かし情報とするあらかじめ生成された任意の数値の組み合わせを用いて、特定の周波数成分を振幅変調する。次に、周波数合成するステップの処理において、得られた値を周波数合成することにより、関節運動情報に電子透かし情報が隠蔽される。
【００２６】
電子透かし処理装置においては、これらの処理を実行する要素としてそれぞれのデータ処理手段のプログラム処理モジュールを利用して処理を実行する。これにより、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、任意の数値の組み合わせを電子透かし情報として当該関節運動情報に隠蔽することができ、電子透かし情報埋め込み済みの関節運動情報が得られる。
【００２７】
また、電子透かし情報の抽出処理においては、図１の右側の処理フローに示すように、電子透かし情報が隠蔽されている関節運動情報が、システムに与えられる。この処理においては、まず、図３および図４にそれぞれ示すような位置合わせおよび再サンプル化の処理が行われて、次に、電子透かし情報の埋め込みの処理と同様な処理が行われる。
【００２８】
位置合わせおよび再サンプル化の処理の次には、領域分割するステップの処理が行われる。この領域分割の処理では、電子透かし情報が隠蔽された関節運動情報と電子透かし情報が隠蔽されていない関節運動情報とをパラメータ表現された２つの時系列情報をパラメータ空間で領域分割する。次に、周波数分解するステップの処理が行われる。この処理では、２つの時系列情報の各パラメータの時間変化を個別に周波数分解する。そして、次に周波数分解した各周波数成分を比較するステップの処理が行われる。この比較するステップの処理では、２つの時系列情報に対応する同一周波数の成分を比較する。次のステップの処理により、比較結果によって関節運動情報に隠蔽された電子透かし情報の数値の組み合わせ情報の数値を抽出する。このようにして、電子透かし情報が隠蔽された関節運動情報から当該電子透かし情報を抽出する。
【００２９】
本発明による電子透かし処理装置において、電子透かし情報を埋め込む対象とする関節運動情報とは、例えば、関節リンクモデルの変化する姿勢の時系列データである。このような時系列データ（時系列情報）は、さまざまな方法で取得することが可能である。
【００３０】
第一の方法として、コンピュータグラフィクス・デザイナが、商用の運動情報編集ツールを用いて手作業で運動を設計する方法がある。第二の方法として、モーションキャプチャ装置を用いて、実際の人間の運動を電子情報として取り込む方法がある。モーションキャプチャには、大きく分けて、被験者の体のマーカ位置を追跡することによってその３次元位置を計測する方法と、被験者の体に機械式のアームを取り付けて関節角度を計測する方法がある。第三の方法として、動力学シミュレーションや、既存の運動情報を元に別の運動情報を合成する手法を用いる方法が挙げられる。
【００３１】
関節運動情報を表現する方法としては、次の二つを用いる方法が一般的である。ひとつは、関節リンクモデルにおけるリンク長が不変であることを仮定し、関節の回転角を用いて各時刻における姿勢を定義する方法である。関節角の定義には、オイラー角、ロール・ピッチ・ヨー角、四元数を用いる方法があり、表せる関節角度の自由度はどれも等しく３である。他のひとつは、関節の３次元座標値を用いて各時刻における姿勢を定義する方法である。一般的に後者のほうが表現できる姿勢が多いが、実用上は前者の表現が用いられることが多い。また、両者を組み合わせた表現形式もある。本発明による電子透かし処理装置は、これら２種類の表現形式にかかわらず透かしを埋め込むことが可能であり、両者をまとめて、例えば、関節運動情報Ｍを、
Ｍ（ｔ）＝｛ｑ１（ｔ），…，ｑｉ（ｔ），…，ｑｎ（ｔ）｝
で表す。ここではｑｉ（ｔ）は関節角または関節座標値を表す時間の関数である。
【００３２】
電子透かし情報とする任意の数値の組み合わせ情報は、次のように乱数により自動生成する。まず、平均０、分散１のガウス分布Ｎ（０，１）からランダムに数値を取り出すことにより、長さｍのベクトルｗ＝｛ｗ１，…，ｗｉ，…，ｗｍ｝を生成し、これらの数値の組み合わせ（任意の数値の組み合わせ）を電子透かし情報とする。著作権保護を目的とした電子透かしにおいては、これが著作権保持者であることを証明する電子情報とする。
【００３３】
関節運動情報に対して電子透かしの埋め込みを行う前に、電子透かしの埋め込みを冗長化するために、関節運動情報を時間的・空間的に領域分割する。図２に示すように、関節運動情報Ｍ（ｔ）＝｛ｑ１（ｔ），…，ｑｉ（ｔ），…，ｑｎ（ｔ）｝の中のｑｉ（ｔ）の軌跡はパラメータ空間中でひとつの連続した曲線となるので、そこでこの軌跡の特徴に応じて曲線を分割する。以降では、この分割をπとする。
【００３４】
分割πの方法としては、次の三つ方法を用いることができる。第一の方法としては、軌跡の特徴点ごとに分割する方法である。特徴点の抽出と分割は、人間が目視によって手作業で行う方法と自動的に行う方法がある。自動的に行う方法の一例として、非特許文献３に記載されている方法が参考にできる。第二の方法としては、軌跡を１次元の部分空間に射影し、部分空間内での説く頂点に基づき分割する方法である。第三の方法としては、あらかじめ与えた長さの時間領域で運動情報を均等に分割する方法である。以上の３つのどの方法を用いても良いが、分割された領域内には一定数以上のデータが保持されるようにする必要がある。具体的には、各時間領域内において、５００サンプル程度のデータが含まれていれば十分である。
【００３５】
次に、分割πで分割された各時間領域内における部分運動に対して、離散コサイン変換（ＤＣＴ）で周波数分解し、周波数係数の集合｛ｆｉ｝を得る。
【００３６】
次に、周波数成分｛ｆｉ｝のうち最も重要なもの｛＾ｆｉ｝を選択し、先に生成した電子透かし情報ｗを用いて振幅変調する。重要な成分の決定法としては、絶対値の大きさで比較する方法、低周波成分から優先的に選択する方法、人間の動的視覚システムの感度が高い６０ヘルツ以下の成分から優先的に選択する方法を用いることができる。ここでの振幅変調は次の式を用いてデータ処理を行う。
【数１】
2006148201.tif 000003
ここで、εは電子透かしの埋め込み強度を決定するパラメータである。
【００３７】
次に、周波数成分｛ｆｉ｝のうち｛＾ｆｉ｝に含まれていた部分を｛＾ｆｉ*｝で置換し、周波数合成を行って、もとの関節運動情報と同じ表現形式に戻す。これにより、電子透かし情報が埋め込まれた関節運動情報Ｍ’を得る。
【００３８】
元の関節運動情報Ｍ、電子透かし情報ｗ、分割πの各情報を安全な場所に隠し、電子透かし情報が埋め込まれた関節運動情報Ｍ’を公開することができる。
【００３９】
例えば、電子透かし情報が埋め込まれた関節運動情報Ｍ’を、不正に用いて生成されたと思われる被検査対象の関節運動情報Ｍ＊を入手した場合には、次の処理手順により、そこから電子透かし情報を抽出し、実際に著作権侵害があったかどうかを判定する。
【００４０】
まず、元の関節運動情報Ｍと被検査対象の関節運動情報Ｍ＊とを比較できるように、姿勢を表現するパラメータ空間で両者の位置を合わせる。これを実現するために、Beslらによって提案されているIterative Closest Points法に基づいて、スケールの変更に関しても推定可能な姿勢推定手法を用いる（非特許文献４参照）。
【００４１】
また、姿勢の推定は、領域分割πで分割された各部分に対して独立に行い、運動情報全体を最も近い位置に合わせる姿勢を採用する。
【００４２】
不正に用いて生成されたと思われる被検査対象の関節運動情報Ｍ＊が、動画像としてのみ入手可能である場合、図３に示すように、平面的なの運動情報からもとの立体的な運動情報を復元する。これを行うために、次の２つの処理を行う。まず、Iterative Closest Points法によって３次元空間から２次元平面への射影を行う射影行列を推定する。実際には、この計算は不安定なため、初期値を人間が正確に与え、Levenberg-Marqurdt法で計算する。次に、得られた射影行列を元にして、元の関節運動情報Ｍに最も近い３次元点集合を選択し、被検査対象の関節運動情報Ｍ＊から立体的な運動情報を復元する（非特許文献５を参照）。
【００４３】
元の関節運動情報Ｍと被検査対象の関節運動情報Ｍ＊との位置合わせができたら、図４に示すように、次に両者の各データ点が一対一に対応するように被検査対象の関節運動情報Ｍ＊を再サンプル化する。これは、まず、位置合わせ済みの関節運動情報Ｍ＊を３次スプライン補間し、連続的な運動情報を生成する。次に、元の運動情報Ｍの各データ点に対し、スプライン曲線状の最も近い点をサンプルする。
【００４４】
これは、一対一対応の取れた同じ姿勢の関節運動情報Ｍと対し、電子透かし情報の埋め込み時と同様の周波数分解を行い、電子透かし情報が埋め込まれた関節運動情報Ｍ’を生成した際に選択した周波数係数｛＾ｆｉ｝と同一の周波数における比を取り、電子透かし情報ｗ＊を抽出する。
【００４５】
元の運動情報に埋め込んだ電子透かし情報ｗと抽出された電子透かし譲歩ｗ＊の相関係数を次の式を用いて計算する。
【数２】
2006148201.tif 000004
次に、Fischerのｚ変換を用いて次の値を得る。
【数３】
2006148201.tif 000005
この変換によって、先に埋め込んだ電子透かし情報ｗと抽出された電子透かし情報ｗ＊とが、ガウス分布からのサンプルであった場合、相関係数が、ガウス分布
【数４】
2006148201.tif 000006
に従うようになる。ただし、ｍは電子透かし情報ｗの長さである。このｚを用いて、次の式を用いることにより、埋め込んだ電子透かし情報ｗと抽出された電子透かし情報ｗ＊が無相関であるという仮説が有意に真であるという確率が次の式で計算できる。
【数５】
2006148201.tif 000007
ただし
【数６】
2006148201.tif 000008
である。また、上記の式の確率Ｐｆｐが小さいほど埋め込んだ電子透かし情報ｗと抽出された電子透かし情報ｗ＊の類似度が高いことを意味する。したがって、この値を閾値処理することによって電子透かし情報の存在を判定することができる。実験によると、多くの運動情報では、Ｐｆｐが、０．００１以下であれば、透かしが検出されたとしてよい。
【００４６】
また、本発明による電子透かし処理方法および装置においては、電子透かしの頑健性を向上させるために、時間的および空間的な領域分割を用いた透かしの埋め込みの冗長化を行い、これによって、関節運動情報が部分的に自由変形や非線形変換などを受けた場合にも、残された情報から透かしを抽出することができるようにすることもできる。この場合の構成については、前述した構成に、さらに時間的なデータに対する領域分割の処理が追加される。
【００４７】
このような構成に係る本発明の実施の形態について説明する。この場合の電子透かし情報の埋め込みの処理においては、まず、前処理としてシステムに、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報と、電子透かし情報とする任意の数字の組み合わせ情報が与えられる。この電子透かし情報は、前述した場合と同様に、振幅変調するステップの処理に用いられる。
【００４８】
領域分割するステップの処理により、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報から与えられた時系列を各関節の角度，座標、またはその両方を用いてパラメータ表現された時系列情報をパラメータ空間で領域分割する。冗長化のために時間領域に対しての処理も行うため、時間分割するステップの処理によって、パラメータ表現された時系列情報に対し各パラメータを時間領域分割する。
【００４９】
そして、次に周波数分解するステップの処理により、分割した各領域に対して時系列情報の各パラメータの時間変化を個別に周波数分解し、次の振幅変調するステップの処理により、分割した各領域に対して電子透かし情報のあらかじめ生成された任意の数値の組み合わせを用いて特定の周波数成分を振幅変調する。次に、周波数合成するステップの処理により、各領域に対して得られた値を周波数合成することにより、このような処理を行うことにより、電子透かし情報の埋め込み処理を行い、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、電子透かし情報として任意の数値の組み合わせを関節運動情報中の個別の関節運動および個別の時間領域に対して隠蔽することができる。電子透かし処理装置では、これらの処理を実行する要素としてそれぞれのデータ処理手段を備える。
【００５０】
電子透かし情報が埋め込まれた（隠蔽された）関節運動情報から、電子透かし情報を抽出する場合には、次のようにして、この処理を行う。
【００５１】
この場合においても同様にして、領域分割するステップの処理により、電子透かし情報が隠蔽された関節運動情報と電子透かし情報が隠蔽されていない関節運動情報とをパラメータ表現された２つの時系列情報をパラメータ空間で領域分割し、時間領域分割を行うステップの処理により、パラメータ表現された２つの時系列情報に対し各パラメータを時間領域分割する。そして、周波数分解するステップの処理により、分割した各領域に対して２つの時系列情報の各パラメータの時間変化を個別に周波数分解する。次に、比較するステップの処理により、分割した各領域に対して２つの時系列情報に対応する同一周波数の成分を比較する。そして、抽出するステップの処理により、分割した各領域に対して比較結果により関節運動情報に隠蔽された電子透かし情報の数値の組み合わせ情報の数値を抽出する。このようにして、電子透かし情報が隠蔽された関節運動情報から関節運動情報中の個別の関節運動、および個別の時間領域に隠蔽された数値を抽出する。
【００５２】
ここでの電子透かし処理方法および装置において、電子透かし情報とする任意の数値の組み合わせは著作権を表現する情報とするようにされてもよく、また、関節構造を持つ物体の関節運動を時系列情報として記述した関節運動情報に対し、与えられた運動を微小に変化させることによって、別の秘密情報を関節運動情報に隠蔽するようにしても良い。
【産業上の利用可能性】
【００５３】
本発明の電子透かし処理方法および装置は、関節運動情報に対して電子透かし処理を行うことから、平面に射影された情報からもとの情報を復元する非線形最適化法を用いることによって、コンピュータグラフィクス技術によって作成された動画像から、その中で用いられていた運動情報媒体に埋めこんだ電子透かし情報を検出することができる。この場合においても、頑健な電子透かし情報の埋め込みが可能となる。
【図面の簡単な説明】
【００５４】
【図１】本発明による電子透かし処理装置の構成および電子透かし処理の流れを説明するための説明図である。
【図２】パラメータ空間中でひとつの連続した曲線となる関節運動情報の中の軌跡を例示する図である。
【図３】２次元画像情報から３次元関節運動情報の再構成を説明する図である。
【図４】関節運動情報の再サンプリングを説明する図である。
【図１】
2006148201.tif 000009
【図２】
2006148201.tif 000010
【図３】
2006148201.tif 000011
【図４】
2006148201.tif 000012