(57)【特許請求の範囲】
【請求項１】
電子透かしが埋め込まれた原画像が局所的変形を受けて変形された変形画像から電子透かしを検出する方法であって、
前記原画像または、前記電子透かしを埋め込む際の透かし情報を記憶する記憶ステップと、
前記記憶された原画像または透かし情報にて示される原画像全体の領域をｎ（ｎは正整数）個の領域に分割する分割ステップと、
第ｍ（１＜ｍ＜ｎ：ｍは正整数）領域の初期アフィンパラメータを記憶手段に一時保持すると共に、これを出力する第1出力ステップと、
変更指示を受けた際に、この初期アフィンパラメータの値を変更し、変更したアフィンパラメータを出力する第２出力ステップと、
変更されたアフィンパラメータに基づいてアフィン変換式により第ｍ領域を変形し、この変形された第ｍ領域に対応する変形画像の領域を取得する取得ステップと、
取得された変形画像の領域と電子透かしを埋め込んだ際の透かし情報のうち第ｍ領域に対応する透かし情報とに基づいて電子透かしが埋め込まれているか否かを検出する検出ステップと、
前記検出ステップで、電子透かしが埋め込まれていることを検出した際、その検出結果を出力する第３出力ステップとを備えたことを特徴とする電子透かし検出方法。
【請求項２】
前記検出ステップにて、電子透かしが埋め込まれていないことを検出した際には、第２出力ステップへ前記変更指示を供給することを特徴とする請求項1記載の電子透かし検出方法。
【請求項３】
前記第３出力ステップは、更に、電子透かしが埋め込まれていることを検出した際に用いられたアフィンパラメータを第ｍ領域に隣接する領域の初期アフィンパラメータとして前記記憶手段へ一時保持するよう促す促進ステップを有することを特徴とする請求項１または請求項２記載の電子透かし検出方法。
【請求項４】
電子透かしが埋め込まれた原画像が局所的変形を受けて変形された変形画像と、原画像または電子透かしの埋め込み時に用いられた透かし情報とを入力し、この入力された原画像または透かし情報にて示される原画像全体の領域を複数の領域に分割し、この分割された各領域に対応する変形画像の各領域をアフィンパラメータで表す、前記分割された各領域に対応する変形画像の各領域から電子透かしを検出する電子透かし検出方法であって、
既に決定されている変形画像のある領域のアフィンパラメータを入力し、このアフィンパラメータを起点としてその近傍を優先探索し、この領域に近接する領域を決定するとともに、この近接する領域の電子透かしを検出することを特徴とする電子透かし検出方法。
【請求項５】
電子透かしが埋め込まれた原画像が局所的変形を受けて変形された変形画像から電子透かしを検出する電子透かし検出装置であって、
前記原画像または、前記電子透かしを埋め込む際の透かし情報を記憶する記憶手段と、
前記記憶された原画像または透かし情報にて示される原画像全体の領域をｎ（ｎは正整数）個の領域に分割する分割手段と、
第ｍ（１＜ｍ＜ｎ：ｍは正整数）領域の初期アフィンパラメータを一時保持する保持手段と、
前記保持手段によって保持された初期アフィンパラメータを出力する第1出力手段と、
変更指示を受けた際に、この初期アフィンパラメータの値を変更し、変更したアフィンパラメータを出力する第２出力手段と、
変更されたアフィンパラメータに基づいてアフィン変換式により第ｍ領域を変形し、この変形された第ｍ領域に対応する変形画像の領域を取得する取得手段と、
取得された変形画像の領域と電子透かしを埋め込んだ際の透かし情報のうち第ｍ領域に対応する透かし情報とに基づいて電子透かしが埋め込まれているか否かを検出する検出手段と、
前記検出手段で、電子透かしが埋め込まれていることを検出した際、その検出結果を出力する第３出力手段とを備えたことを特徴とする電子透かし検出装置。
【請求項６】
電子透かしが埋め込まれた原画像が局所的変形を受けて変形された変形画像から電子透かしを検出する機能を動作させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体において、
前記原画像または、前記電子透かしを埋め込む際の透かし情報をコンピュータの記憶手段に記憶する記憶機能と、
前記記憶された原画像または透かし情報にて示される原画像全体の領域をｎ（ｎは正整数）個の領域に分割する分割機能と、
第ｍ（１＜ｍ＜ｎ：ｍは正整数）領域の初期アフィンパラメータを記憶手段に一時保持すると共に、これを出力する第1出力機能と、
変更指示を受けた際に、この初期アフィンパラメータの値を変更し、変更したアフィンパラメータを出力する第２出力機能と、
変更されたアフィンパラメータに基づいてアフィン変換式により第ｍ領域を変形し、この変形された第ｍ領域に対応する変形画像の領域を取得する取得機能と、
取得された変形画像の領域と電子透かしを埋め込んだ際の透かし情報のうち第ｍ領域に対応する透かし情報とに基づいて電子透かしが埋め込まれているか否かを検出する検出機能と、
前記検出機能で、電子透かしが埋め込まれていることを検出した際、その検出結果を出力する第３出力機能とを含むプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項７】
電子透かしが埋め込まれた原画像が局所的変形を受けて変形された変形画像と、原画像または電子透かしの埋め込み時に用いられた透かし情報とを入力し、前記原画像または前記透かし情報にて示される原画像全体の領域をｎ（ｎは正整数）個の領域に分割された各領域に対応する前記変形画像の各領域を決定する領域決定方法であって、
既に決定された第ｍ（１＜ｍ＜ｎ：ｍは正整数）領域のアフィンパラメータを入力し、この第ｍ領域のアフィンパラメータを起点とし、その近傍を探索することにより第ｍ＋１領域を決定することを特徴とする領域決定方法。
【請求項８】
局所的変形を受ける前の電子透かしが埋め込まれた原画像と前記原画像が局所的変形を受けて変形された変形画像との対応関係を決定する領域決定方法であって、
原画像を複数の領域に分割し、分割された各領域の一つの領域の各位置を、パラメータによって指定されるアフィン変換式に代入して局所的変形を受けた検出対象画像の対応する領域候補を取得し、この取得された領域を任意の電子透かし検出方法による検出の有無によって対応する領域か否かを判別して決定することを特徴とする領域決定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画、静止画等のデジタル著作物データに、知覚が容易では無い状態となるよう埋め込まれた著作権者や利用者の識別情報、著作権者の権利情報、利用条件、利用時に必要な秘密情報、コピー制御情報などの透かし情報を検出するための電子透かし検出装置、電子透かし検出方法、領域決定方法、および、記憶媒体に関する。
【０００２】
【従来の技術】
近年、音声、音楽、動画や静止画等のデジタル著作物データ（以下、デジタルコンテンツと称す）が流通されるようになってきており、これにともなって、これらデジタルコンテンツに対する著作権保護のために、様々な電子透かし技術が研究されている。
【０００３】
電子透かし技術を適用する際には、通常に施されると想定される各種の操作や意図的な攻撃を受けたとしても、透かし情報が、消失したり、改ざんされたり、あるいは変形によって検出不能となったりすることなく、読み出せることが重要な要件となる。この要件を、ロバスト性を持つという。
【０００４】
ところで一般に、動画像や静止画のデジタル画像は、デジタル画像をアナログ画像に変換しデジタル画像に戻す（Ｄ−Ａ−Ｄ変換）といった操作が良く実施される。例えば、ＤＶやＭＰＥＧ符号化されたデジタル動画像をプレーヤやパーソナルコンピュータ（ＰＣ）のデコーダによって伸長し、Ｄ−Ａ回路によってアナログ信号として出力した後、ビデオキャプチャ機能を備えたＰＣによって再びデジタルデータに変換するような操作が実施される。また、意図的な攻撃としては、例えば、デジタル画像から静止画を表示し、これを印刷し、印刷された静止画をスキャナなどで再度読み込むといったこと等が想定される。これらの操作はＤ−Ａ−Ｄ変換に該当するが、これらの操作に対してロバスト性を持つことが必要である。
【０００５】
Ｄ−Ａ−Ｄ変換された画像は、原画像に対して幾何学的変形が施されることになる。幾何学的変形は、大域的変形と局所的変形とに大別される。
【０００６】
大域的変形とは、画像全体のスケーリング、回転、平行移動のことを言い、アフィン変換として表現可能である。図６は、原画像Ａが変形画像Ａ’に大域的変形されたことを示した図である。原画像の点ａ（ｘ，ｙ）は、大域的変形され、点ａ’（ｘ’，ｙ’）に対応する。このとき、平行移動として（ｂ１，ｂ２）の２つのパラメータ、スケーリングと回転として２×２行列であらわされる４つのパラメータで示され、よって６つのパラメータを持つ以下の式で表現される。
【０００７】
【数１】
0003681157.tif 000002
【０００８】
一方、局所的変形とは、画像全体の内の局所的な領域が変形されるという意味ではなく、局所的に異なるパラメータによって表現される変換という意味である。図７は、原画像Ａが局所的変形を受けて変形画像Ａ’となったことを示したものである。図の通り、領域ごとに異なる２次元のベクトル（各矢印）で表されるため、局所的変形は、２次元の一般座標変換として、以下の式で表現される。
【０００９】
【数２】
0003681157.tif 000003
【００１０】
ここで、ｆとｇは任意の関数である。なお、大域的変形は、局所的変形の特殊な場合、つまり局所的ごとに同一のパラメータを有する場合に過ぎない。また、幾何学的変形に切り抜き（cropping）を含める場合もあるが、ここでは含めない。
【００１１】
Ｄ−Ａ−Ｄ変換で幾何学的変形が施された画像は、原画像に比較し、画素の位置が変わる。この画素の変更位置を考慮した電子透かしの検出方法として、特開平１１−１５３９５６号公報（以下、Ｃｏｘ方法、と称す）では「変形前と変形後の対応するブロックの位置が大きくずれることで電子透かしの検出が困難になる問題に着目し、ブロックの位置ずれの幅として、0ピクセル、1ピクセル、2ピクセル、・・・といった可能性のすべてに対して、透かし情報の検出を行う」といった方法が提案されている。この方式は、たとえば、変形が無い場合に検出対象のブロックが存在する位置から、１ピクセル位置ずれが起こっていると想定してブロック位置を決定し、このブロックに対して透かし情報の検出を行い、同様に、複数の位置ずれの幅に対応して位置が決定されたブロックに対して透かし情報の検出を行う。そして、これらの複数のブロックから変形前のブロックに良く近似したブロックを選択し、そのブロックの変形前との位置ずれを得て、この位置ずれが全画像にわたって起こったとみなして、透かし情報の検出を行うものである。
【００１２】
【発明が解決しようとする課題】
ところで、Ｄ−Ａ−Ｄ変換で幾何学的変形が施された画像は、大域的変形ではなく、局所的変形が施されることとなるため、各画素の位置が所定方向に従わずに変わることになる。
【００１３】
透かし情報の検出方法として、Ｃｏｘの方法は、大域的変形に対しては、ブロック位置の候補が比較的少ないため、全数的探索を行うことも可能であり有効な解決方法と考えられるが、局所的変形に対しては、ブロック位置の候補が膨大となるため、膨大な処理時間がかかることが予想され、そのまま適用することは難しいという問題点があった。
【００１４】
以上説明してきたように、従来の電子透かし技術においては、Ｄ−Ａ−Ｄ変換による局所的変形のために埋め込まれた透かし情報の位置が不規則に移動するため、事実上検出困難であった。
【００１５】
本発明の目的は、局所的変形が施された検出対象画像から透かし情報が検出可能な電子透かし検出装置、電子透かし検出方法、領域抽出方法、および記憶媒体を提供する。
【００１６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の電子透かし検出方法は、電子透かしが埋め込まれた原画像が局所的変形を受けて変形された変形画像から電子透かしを検出する方法であって、前記原画像または、前記電子透かしを埋め込む際の透かし情報を記憶する記憶ステップと、前記記憶された原画像または透かし情報にて示される原画像全体の領域をｎ（ｎは正整数）個の領域に分割する分割ステップと、第ｍ（１＜ｍ＜ｎ：ｍは正整数）領域の初期アフィンパラメータを記憶手段に一時保持すると共に、これを出力する第1出力ステップと、変更指示を受けた際に、この初期アフィンパラメータの値を変更し、変更したアフィンパラメータを出力する第２出力ステップと、変更されたアフィンパラメータに基づいてアフィン変換式により第ｍ領域を変形し、この変形された第ｍ領域に対応する変形画像の領域を取得する取得ステップと、取得された変形画像の領域と電子透かしを埋め込んだ際の透かし情報のうち第ｍ領域に対応する透かし情報とに基づいて電子透かしが埋め込まれているか否かを検出する検出ステップと、前記検出ステップで、電子透かしが埋め込まれていることを検出した際、その検出結果を出力する第３出力ステップとを備えた。
【００１７】
また、請求項４の電子透かし検出方法は、電子透かしが埋め込まれた原画像が局所的変形を受けて変形された変形画像と、原画像または電子透かしの埋め込み時に用いられた透かし情報とを入力し、この入力された原画像または透かし情報にて示される原画像全体の領域を複数の領域に分割し、この分割された各領域に対応する変形画像の各領域をアフィンパラメータで表す、前記分割された各領域に対応する変形画像の各領域から電子透かしを検出する電子透かし検出方法であって、既に決定されている変形画像のある領域のアフィンパラメータを入力し、このアフィンパラメータを起点としてその近傍を優先探索し、この領域に近接する領域を決定するとともに、この近接する領域の電子透かしを検出するようにした。
【００１８】
また、請求項５の電子透かし検出装置は、電子透かしが埋め込まれた原画像が局所的変形を受けて変形された変形画像から電子透かしを検出する電子透かし検出装置であって、前記原画像または、前記電子透かしを埋め込む際の透かし情報を記憶する記憶手段と、前記記憶された原画像または透かし情報にて示される原画像全体の領域をｎ（ｎは正整数）個の領域に分割する分割手段と、第ｍ（１＜ｍ＜ｎ：ｍは正整数）領域の初期アフィンパラメータを一時保持する保持手段と、前記保持手段によって保持された初期アフィンパラメータを出力する第1出力手段と、変更指示を受けた際に、この初期アフィンパラメータの値を変更し、変更したアフィンパラメータを出力する第２出力手段と、変更されたアフィンパラメータに基づいてアフィン変換式により第ｍ領域を変形し、この変形された第ｍ領域に対応する変形画像の領域を取得する取得手段と、取得された変形画像の領域と電子透かしを埋め込んだ際の透かし情報のうち第ｍ領域に対応する透かし情報とに基づいて電子透かしが埋め込まれているか否かを検出する検出手段と、前記検出手段で、電子透かしが埋め込まれていることを検出した際、その検出結果を出力する第３出力手段とを備えた。
【００１９】
また、請求項６の記憶媒体は、電子透かしが埋め込まれた原画像が局所的変形を受けて変形された変形画像から電子透かしを検出する機能を動作させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体において、前記原画像または、前記電子透かしを埋め込む際の透かし情報をコンピュータの記憶手段に記憶する記憶機能と、前記記憶された原画像または透かし情報にて示される原画像全体の領域をｎ（ｎは正整数）個の領域に分割する分割機能と、第ｍ（１＜ｍ＜ｎ：ｍは正整数）領域の初期アフィンパラメータを記憶手段に一時保持すると共に、これを出力する第1出力機能と、変更指示を受けた際に、この初期アフィンパラメータの値を変更し、変更したアフィンパラメータを出力する第２出力機能と、変更されたアフィンパラメータに基づいてアフィン変換式により第ｍ領域を変形し、この変形された第ｍ領域に対応する変形画像の領域を取得する取得機能と、取得された変形画像の領域と電子透かしを埋め込んだ際の透かし情報のうち第ｍ領域に対応する透かし情報とに基づいて電子透かしが埋め込まれているか否かを検出する検出機能と、前記検出機能で、電子透かしが埋め込まれていることを検出した際、その検出結果を出力する第３出力機能とを含むようにした。
【００２０】
これら請求項１、４、５、６の何れかの発明により、局所的変形を受けた画像から、高速に電子透かしを検出することが可能になった。
【００２２】
請求項７の領域決定方法は、電子透かしが埋め込まれた原画像が局所的変形を受けて変形された変形画像と、原画像または電子透かしの埋め込み時に用いられた透かし情報とを入力し、前記原画像または前記透かし情報にて示される原画像全体の領域をｎ（ｎは正整数）個の領域に分割された各領域に対応する前記変形画像の各領域を決定する領域決定方法であって、既に決定された第ｍ（１＜ｍ＜ｎ：ｍは正整数）領域のアフィンパラメータを入力し、この第ｍ領域のアフィンパラメータを起点とし、その近傍を探索することにより第ｍ＋１領域を決定するようにした。
【００２３】
また、請求項８の領域決定方法は、局所的変形を受ける前の電子透かしが埋め込まれた原画像と前記原画像が局所的変形を受けて変形された変形画像との対応関係を決定する領域決定方法であって、原画像を複数の領域に分割し、分割された各領域の一つの領域の各位置を、パラメータによって指定されるアフィン変換式に代入して局所的変形を受けた検出対象画像の対応する領域候補を取得し、この取得された領域を任意の電子透かし検出方法による検出の有無によって対応する領域か否かを判別して決定するようにした。
【００２４】
これら請求項７または請求項８の何れかの発明により、局所的変形を受ける前の画像と、この画像に対応する局所的変形を受けた検出対象画像との対応関係を効率よく把握できるようになった。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。
【００２６】
まず、本発明の実施の形態を説明する前に、本発明の原理について説明する。
【００２７】
局所的変形が施された画像（以下、変形画像と称す）は、［従来の技術］で示した式［数２］の通り、２つの任意の関数によって表現されるため、無限自由度の変形となっている（厳密には、画像は有限サイズであり、画素値は離散有限の範囲の値を取るので、自由度は有限である）。従って、原画像中の点（画素）と変形画像中の点（画素）との対応関係を調べるには、取り得る全ての総当りで調べる必要があり、事実上困難である。
【００２８】
しかしながら、電子透かし情報の改ざんや消失を目的とて、極端な変形を行うことは、原画像がもっている意味や印象を大きく損ねてしまい、画像の価値を失わせることになってしまう。従って、実際の攻撃は、局所的変形と言えども、変形画像中の小さな領域を見ると、一様な線形変換とみなせると考えられる。
【００２９】
そこで、まず、図１に示すように、局所的変形が施された画像Ｉ中の小さな領域ｐ（右図、破線。以下、パッチと呼ぶ）は、大域的変形された、すなわちスケーリング、回転移動、平行移動がなされた原画像の小さな領域ｐ’（右図、実線。）に近似的に変形されると考えることができる。これは、二つの関数ｆ,ｇを線形近似していることに相当する。つまり、原画像中のある点（ｘ，ｙ）の周りで２つの関数を近似すると、
【００３０】
【数３】
0003681157.tif 000004
【００３１】
とおくことによって、アフィン変換の式として表わすことが可能である。
【００３２】
次に、サイズをある程度小さくした複数のパッチ｛ｐ1，・・・ｐn｝（パッチ間は共通部分を持っていても良い）の和集合によって表現される画像Iにおいて、図２に示すように、隣接するパッチｐiとパッチｐjとは、局所的な幾何学的変形によって空間的に穏やかな変形を受けている。各パッチは、それぞれの起点の周りでの線形近似により、［数４］のアフィンパラメータを持っているとすると、二つのパッチの間は、［数５］に示す式で表現できる。
【００３３】
【数４】
0003681157.tif 000005
【００３４】
【数５】
0003681157.tif 000006
【００３５】
隣接パッチ間のアフィンパラメータの写像は、［数６］の６個のパラメータで表現される。
【００３６】
【数６】
0003681157.tif 000007
【００３７】
これらのパラメータはゼロに近い値を取るので、ゼロの近傍を優先的に探索することで効率良く最適な値を決定することができる。
【００３８】
以上の通り、本発明の原理は、原画像を小さな領域に分割し、その小さな領域に対応する変形後の領域をアフィンパラメータを用いて表し、該領域に隣接する領域を該アフィンパラメータによって表わした位置を起点とし、その近傍を優先探索する。これにより、探索の高速化が実現できる。
【００３９】
以上説明した本発明の原理を踏まえて、以下に本発明の実施形態を説明する。
【００４０】
図３は、本実施形態を適用するためのシステム概略構成を示している。コンピュータ1は、例えばパーソナルコンピュータであり、バス７を介して、マウスやキーボードなどの入力部２、画像を表示する表示部３、マイクロプロセッサからなり、本コンピュータの全体の制御を司る他、後述するソフトウェアプログラムの電子透かし検出部１０や電子透かし抽出部１１などを処理する制御部４、外部との通信を行う通信部５、半導体メモリ、ハードディスク装置、ＣＤ／ＤＶＤ装置等などの、情報を記憶する記憶部６を備える。記憶部６には、ＯＳや、前記制御部４にて処理される電子透かし検出部１０、電子透かし抽出部１１等のソフトウェアプログラムや、電子透かしの検出を行うために、原画像、透かし情報の一つ又は両方（以下、これを比較情報と称す）１２と、電子透かしが埋め込まれ、市場に流通していた検出対象画像１３、電子透かし検出部１１に必要な各種設定情報１４などのデータを格納している。なお、ここで言う透かし情報とは、元の画像に対して別の画像として重畳することによって埋め込まれた透かしの場合における透かしそのものの画像情報や、原画像領域を示す情報と透かし情報を埋め込む際に使用した乱数列の組等のことであり何れであっても良い。
【００４１】
図４は、本実施形態における電子透かし検出部１０の機能ブロックを示している。
【００４２】
電子透かし検出部１０は、検出対象画像１３と、比較情報１２と、パッチサイズ、パッチ位置、及び第1パッチのアフィンパラメータ等の設定情報１４とを入力し、検出対象画像に埋め込まれている電子透かしの検出結果を電子透かし抽出部１１へ送出するものである。
【００４３】
電子透かし検出部１０は、まず、入力された比較情報１２と設定情報１４のパッチサイズによって、局所的変形を受ける前の画像領域を複数のパッチに分割する。
【００４４】
これら分割された各パッチに対応する検出対象画像の各パッチを検出するには、検出対象画像のパッチ候補から電子透かしを検出することによって判断する。このパッチ候補は、既に決定した隣接の検出対象画像のパッチのアフィンパラメータを起点とし、このアフィンパラメータを少しづつ変更し、アフィン変換の式によって、検出対象画像のパッチ候補をパラメータの変更の都度、抽出して正しいパッチか否かを判定する。正しければ、これをパッチとして決定する。これを全てのパッチに対し、繰り返すことによって、検出対象画像の電子透かしを検出するというものである。
【００４５】
電子透かし検出部１０は、アフィンパラメータ設定部２１とパラメータ候補生成部２２と局所的透かし検出部２３とを備える。
【００４６】
アフィンパラメータ設定部２１は、これから電子透かしを検出するパッチの検出対象画像上の探索の起点を定めるためのアフィンパラメータを設定するものであり、最初の（第1）パッチを検出する際には、設定情報１４からの第1パッチの探索起点とするアフィンパラメータを、それ以外のパッチを検出する際には、後述する局所的透かし検出部２３から受けるアフィンパラメータを出力する。なお、アフィンパラメータは、先に説明した通り、６つのパラメータからなる。
【００４７】
パラメータ候補生成部２２は、アフィンパラメータ設定部２１から入力されたアフィンパラメータの各値を所定の方法で更新して新たなアフィンパラメータを生成し、生成されたアフィンパラメータを局所的透かし検出部２３へ出力するものである。アフィンパラメータの更新方法は、アフィンパラメータ設定部２１より設定された基準のアフィンパラメータを基とし、局所的透かし検出部２３からパラメータ要求を受ける都度、少しずつ各パラメータの値を変更していくようにすればよい。つまり、アフィンパラメータ設定部２１から得たアフィンパラメータを起点として、少しずつ変更を行うようにして起点の近傍付近から順に探索するようにすればよい。
【００４８】
局所的透かし検出部２３は、パラメータ候補生成部２２から入力されたアフィンパラメータに基づいて、検出対象画像からパッチ候補を抽出し、このパッチ候補が抽出すべきパッチであるか否かを判定し、判定の結果、抽出すべきパッチであったとき、そのパッチから検出した結果を電子透かし抽出部１１へ出力するとともに、そのアフィンパラメータをアフィンパラメータ設定部２１へ出力するものである。この局所的透かし検出部２３の詳細について、以下に説明する。
【００４９】
局所的透かし検出部２３は、各パッチを構成する画素の集合を特定するための情報、例えば、矩形のパッチの場合には、縦×横で示されるパッチサイズや各パッチの位置などの設定情報（以下、パッチ設定情報と呼ぶ）１４と、検出対象画像１３と、比較情報１４とを初期時に入力する。また、局所的透かし検出部２３は、アフィン変換の式を演算する機能を備えている。更に、局所的変形前の画像領域をパッチサイズで複数のパッチに分割する機能を有している。
【００５０】
この局所的透かし検出部２３におけるパッチの分割は、局所的変形後の画像領域を基準とするのではなく、局所的変形を受ける前の画像領域を基準としている。すなわち、局所的透かし検出部２３は、入力されたパッチ設定情報によって局所的変形を受ける前の画像領域を抽出する。この領域は矩形領域である。この抽出した領域を、パラメータ候補生成部２２から入力されたアフィンパラメータを用いたアフィン変換の式へ代入して、変換する。この変換された領域をパッチ候補とし、このパッチ候補の真偽を所定の方法で判定し、真の場合のみ、そのパッチ候補は、局所的変形を受ける前の前記矩形領域に対応するパッチであることとなる。
【００５１】
このパッチ候補の真偽の判定方法を以下に４つ例示する。
【００５２】
第1例の判定方法：入力されたパッチサイズで原画像のパッチ領域（これも矩形）を予め抽出し、前記パッチ候補の各画素値から対応する前記矩形領域の各画素値を減算した結果が、予め抽出した電子透かし画像のパッチ領域とマッチすれば、真と判定し、マッチしなければ偽と判定する。なお、この方法を行う場合には、比較情報１２は、少なくとも原画像または透かしそのものの画像の何れか一つを含んでいる必要がある。
【００５３】
第２例の判定方法：入力された設定情報１４と探索対象となっているパッチのアフィンパラメータの候補の値から、そのパッチの変形後の領域を決定し、その変形後の領域内の画素の画素値から、変形前のパッチ内の画素の画素値を求め、それらの値と電子透かしの埋め込み時に用いられた乱数列との相関値を求め、その相関値が予め設定された閾値より大きい場合に真と判定し、小さい場合には偽と判定する。なお、この方法を行う場合には、比較情報１２は、電子透かしの埋め込み時に用いられた乱数列を含む透かし情報を含んでいる必要がある。
【００５４】
第３例の判定方法：電子透かしの埋め込みが周波数領域で行われている場合には、前記パッチ候補（局所的変形後）および前記矩形領域（局所的変形前）をフーリエ変換などで周波数領域に変換し、前記パッチ候補の各周波数成分から前記矩形領域の各周波数成分を減算したものを足し合わせた（積分）結果が所定の閾値Ｔより大きい場合、真と判定し、小さい場合には偽と判定する。なお、この方法を行う場合には、比較情報１２は、少なくとも原画像または透かしそのものの画像の何れか一つを含んでいる必要がある。
【００５５】
第４の判定方法：電子透かしの埋め込みが周波数領域で行われている場合に、前記パッチ候補の中の画素値から、変形前のパッチ内の画素の画素値を求め、フーリエ変換などで周波数領域に変換し、周波数成分値と電子透かしの埋め込み時に用いられた乱数列との相関値を求め、その相関値が予め設定された閾値より大きい場合に真と判定し、小さい場合には偽と判定する。なお、この方法を行う場合には、比較情報１２は、電子透かしの埋め込み時に用いられた乱数列を含む透かし情報を含んでいる必要がある。
【００５６】
なお、上記のパッチ候補の真偽の判定方法以外にも様々な方法があり、必要に応じて、それらの何れの方法を用いればよい。
【００５７】
上記で説明したようなパッチ候補の真偽の判定方法で真と判定された場合、このパッチ候補は、局所的変形される前の前記矩形領域に対応（一致）することとなり、また同時に、このパッチ候補には透かし情報が埋め込まれているということも判定されたことになる。
【００５８】
一方、上記で説明したようなパッチ候補の真偽の判定方法で、偽と判定される場合には、そのパッチ候補は、局所的変形を受ける前の前記矩形領域に対応しないこと（不一致）を意味する。従って、局所的透かし検出部２３は、このパッチ候補を破棄し、次のパッチ候補を抽出するために、パラメータ候補生成部２２へ新たなパラメータの生成を要求する。これによって、パラメータ候補生成部２２は、上記したように新たなアフィンパラメータを生成し、局所的透かし検出部２３へ出力する。
【００５９】
以上のことを繰り返しながら、局所的変形を受ける前のパッチに対応する検出対象画像のパッチ候補を探索し、正しいパッチが見つかるまでこれを繰り返す。なお、現実のシステムに適用する際には、１つのパッチの繰り返し回数を最大Ｎ回（Ｎは正整数）に指定し、もし、Ｎ回に到達してもパッチが見つからない場合には、最初のアフィンパラメータによるパッチ候補をパッチとみなし、透かしが検出できなかった旨を電子透かし抽出部１１へ出力するとともに、アフィンパラメータ設定部２１へ、この最初のアフィンパラメータを出力する。また、Ｎ回に到達する前にパッチが見つかった場合には、そのパッチ候補をパッチとし、検出結果を電子透かし抽出部１１へ出力するとともに、そのパッチが得られたアフィンパラメータをアフィンパラメータ設定部２１へ出力する。この出力されたアフィンパラメータは、次のパッチの探索時の起点として使用される。
【００６０】
あるいは、所定のＮ回の繰り返し回数だけ探索を行い、最も大きな（積分）結果や相関値が得られた候補をパッチとみなし、そのアフィンパラメータを出力しても良い。
【００６１】
電子透かし抽出部１１は、パッチ電子透かし検出部１０から逐次送られるパッチの位置情報および電子透かしの有無を一時保持し、検出対象画像全体に対し、透かし検出が終了した後に、電子透かしを抽出する。
【００６２】
図５は、先に説明したパッチ候補の真偽の判定方法として第１例の判定方法を用いたパッチ電子透かし検出部１０の内部動作を示すフローチャートである。
【００６３】
まず、初期情報の入力を受ける（S101）。初期情報は、比較情報（原画像）１２、検出対象画像１３、第1パッチアフィンパラメータやパッチサイズ等である。ここでパッチサイズは、設定情報１４に含まれていても良いし、また、例えばユーザがキーボードなどの入力装置によって、サイズを直接指定したり、ユーザによるパッチの分割数の指定によって、コンピュータ内部で自動的にサイズを決定し、このサイズを入力しても良い。後者の場合、パッチ透かし検出部１０は、分割数を入力し、その内部でパッチサイズを決定するようにしてもよいことは勿論である。また、第1のパッチアフィンパラメータにおいても、設定情報１４に含まれていても良いし、また、ユーザの感覚に頼って、キーボードから入力するようにしてもよいし、全てを例えば“０”のような初期値として入力するようにしても良い。
【００６４】
次に、入力された初期情報に基づいて、比較情報１２より得られる原画像領域を分割し、１から昇順にパッチに番号を付与する（S102）。原画像領域とは、原画像そのものであっても良いし、原画像の形状を踏襲した仮想領域であっても良い。そして、パッチ番号を示すカウンタ（図示しない）へ初期値ｑ＝１をセットする（S103）。次に、このカウンタ値ｑで示される第１パッチの領域抽出をする（S104）。この領域抽出は、画像の切出しの意味ではなく、領域の座標を抽出する意味である。また、カウンタ値ｑで示される第１パッチの原画像領域の抽出をする（S105）。この領域抽出は、ステップS102で分割された原画像の領域を取り出すことを意味する。
【００６５】
一方、入力された第1のアフィンパラメータは、図４のアフィンパラメータ設定手段２１で保持される（S111）。そして、図示しない後述するアフィンパラメータ変更の回数を示すカウンタへ初期値ｐ＝１をセットする（S112）。次に、保持されたアフィンパラメータをアフィン変換の式へセットする（S113）。このアフィンパラメータをセットしたアフィン変換の式を用い、ステップS104で抽出された第1パッチの領域の位置を代入することによって変換された領域を得、この変換された領域の検出対象画像を第1のパッチ候補として抽出する（S114）。
【００６６】
次に、ステップS105で得られた原画像の第１パッチと、ステップS114で得られた第1のパッチ候補とを先に示した第１例の判定方法で比較する（S115）。この比較の結果、不一致と判定された場合には、カウンタがｍに到達しているか否かを判別する(S116)。ここで、ｍは、一つの原画像パッチに対応するパッチをパッチ候補から見つける際の繰り返し回数の上限値であり、何らかの理由により見つけられなかった際に無限に探索を行うことを防ぐために設けている。この回数ｍは、内部で固定してもよいし、初期情報入力時にユーザが指定するようにしても良い。ステップS116で、Ｎｏと判定されるとアフィンパラメータ変更の回数を示すカウンタｐを１だけインクリメントして（S117）、アフィンパラメータを、図４で説明した通り、少しだけ変更する（S118）。そして、この変更後、この変更されたアフィンパラメータによって、再度ステップS113以降を行う。
【００６７】
ステップS121は、ステップS115にてパッチの検出ができた場合、またはステップS116で繰り返し回数が制限値に到達した場合に、そのパッチの透かしの検出結果を電子透かし抽出部１１へ出力するものであり、前者の場合は、検出された透かしを検出結果とし、後者の場合にはそのパッチでは透かしが検出できなかった旨を検出結果として出力すればよい。
【００６８】
検出結果出力後、全てのパッチ（ｎ個）の検出が終了したか否かを判定し（S122）、全てのパッチが検出されていれば、終了する。未だ検出が終了していない場合には、パッチ番号を示すカウンタを１だけインクリメント（S123）し、隣接するパッチを指定し、再度ステップS104以降を行う。また同時に、検出できたパッチのアフィンパラメータを隣接するパッチの起点とするために出力し（S124）、再度ステップS111以降を実行する。これは、図４の説明でも示したとおり、隣接するパッチ間の各アフィンパラメータは微細な変更のみと期待されるため、このパラメータを起点として使用することは大変有効である。
【００６９】
以上が、先に示したパッチ候補の真偽の判定方法の第１例を用いたパッチ電子透かし検出部１０の内部動作の説明だが、例えば第２例の判定方法を用いた場合には、ステップS105の代わりに、「第ｑパッチの埋め込みに使った乱数列を抽出」とし、ステップS115の代わりに「各領域間の相関値を求め、閾値Ｔと比較」とすれば、他は同様な動作であり、また、第３例の判定方法を用いた場合には、ステップS115の代わりに「各領域を周波数領域に変換して差分の合計値を求め、閾値Ｔ（上記Ｔとは異なる）と比較」とすれば、他は同様な動作である。なお、これ以外の種々の判定方法を用いた場合においても、判定方法に応じた変更点はあるものの、図５のフローチャートから逸脱することはなく、基本的な動作に関しては同様である。
【００７０】
以上詳細に説明した通り、本実施の形態では、局所的変形を受けた検出対象画像から効率よく電子透かし情報を検出できるようになった。
【００７１】
また、局所的変形の前後において十分小さな領域間の対応関係を容易に見つけることができるようになった。
【００７２】
以上に説明した電子透かし方式（装置）によれば、画像に対して局所的変形が施されても、局所的にその変形を近似するアフィン変換を効率良く見つけて、電子透かしを復元することができる。
【００７３】
なお、本実施形態では、静止画像について説明したが、動画像に対して本実施形態を適用することも可能である。その際、第1パッチは同一フレームにあっても良いし、以前のフレームのパッチであってもよい。後者の場合には、時間方向へパッチが隣接していると見なすことで、本実施形態を適用が可能となる。
【００７４】
【発明の効果】
以上のように、本発明によれば、従来の透かし情報の検出方法では膨大な処理時間が掛かるために実際の製品への適応が困難であった、Ｄ−Ａ−Ｄ変換等による局所的変形を受けたデータから、効率よく透かし情報を検出することができるようになり、十分高速に処理可能になった。また、これにより、現実の製品への適用することも期待できるようになった。また、局所的変形を受ける前の画像と、この画像に対応する局所的変形を受けた検出対象画像との対応関係を効率よく把握できるようになった。
【図面の簡単な説明】
【図１】局所的変形が施された画像Ｉ中の小さな領域ｐを示した図。
【図２】パッチｐiとパッチｐjとの関係を示した図。
【図３】  本実施形態を適用するためのシステム概略構成図。
【図４】  本実施形態における電子透かし検出部１０の機能ブロック図。
【図５】パッチ電子透かし検出部１０の内部動作を示すフローチャート。
【図６】原画像Ａが変形画像Ａ’に大域的変形されたことを示した図。
【図７】原画像Ａが局所的変形を受けて変形画像Ａ’となったことを示した図。
【符号の説明】
１・・・コンピュータ、２・・・入力部、３・・・表示部、４・・・制御部、５・・・通信部、６・・・記憶部、７・・・バス、１０・・・電子透かし検出部、１１・・・電子透かし抽出部、１２・・・原画像、１３・・・検出対象画像、１４・・・設定情報、２１・・・アフィンパラメータ設定部、２２・・・パラメータ候補生成部、２３・・・局所的透かし検出部
【図１】
0003681157.tif 000008
【図２】
0003681157.tif 000009
【図３】
0003681157.tif 000010
【図４】
0003681157.tif 000011
【図５】
0003681157.tif 000012
【図６】
0003681157.tif 000013
【図７】
0003681157.tif 000014