(57)【特許請求の範囲】
【請求項１】
認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
上記抽出処理において、
上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
複数の差分画像の各々から、上記認証用情報に相当する情報を抽出することを特徴とする電子透かし画像の認証方法。
【請求項２】
認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
上記抽出処理において、
上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
複数の差分画像を各々表示し、外部から指示された差分画像から、上記認証用情報に相当する情報を抽出することを特徴とする電子透かし画像の認証方法。
【請求項３】
認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
上記抽出処理において、
上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
複数の差分画像の各々について誤差の統計量を算出し、算出した統計量が最小の差分画像から、上記認証用情報に相当する情報を抽出することを特徴とする電子透かし画像の認証方法。
【請求項４】
請求項１，２または３記載の電子透かし画像の認証方法であって、
上記抽出処理において、
上記検査対象画像と上記原画像との間の対応位置を定める複数の対応点から、上記原画像および上記検査対象画像を互いに同縮尺のサイズに幾何変換するために必要な相互の幾何変換係数を算出し、
算出した相互の幾何変換係数を基に、予め用意された複数種類の補間法を各々用いて補間しながら、上記原画像を、上記検査対象画像と同縮尺のサイズに幾何変換してから、再び元のサイズに幾何変換することで、
上記原画像を各々劣化させた複数種類の劣化原画像を作成することを特徴とする電子透かし画像の認証方法。
【請求項５】
請求項１，２，３または４記載の電子透かし画像の認証方法であって、
上記抽出処理において、
上記検査対象画像と上記原画像との間の対応位置を定める複数の対応点から、上記検査対象画像を幾何変換するために必要な幾何変換係数を算出し、
算出した幾何変換係数を基に、上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換することを特徴とする電子透かし画像の認証方法。
【請求項６】
請求項５記載の電子透かし画像の認証方法であって、
上記抽出処理において、
幾何変換した検査対象画像および上記原画像を少なくとも表示し、外部から指示された位置を、対応点として受け付けることを特徴とする電子透かし画像の認証方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ロゴマーク・販売日・販売先などの各種情報を認証用情報として埋め込んだ画像の認証方法に関する。
【０００２】
【従来の技術】
ロゴマーク・販売日・販売先などの各種情報を、認証用情報として画像に埋め込んで隠し持たせる技術は、一般に、電子透かし技術と呼ばれ、「日経エレクトロニクス（１９９７年）９５３号」の９９頁〜１２４頁に記載されている。
【０００３】
電子透かし技術によれば、例えば、ディジタル著作物である画像の販売者は、販売先を示す情報を認証用情報として原画像に埋め込み、電子透かし画像として販売すれば、不正行為がなされた疑いがある画像から、販売時に埋め込んだ認証用情報に相当する情報を抽出することで、不正行為の有無が分かると共に、不正行為がなされた場合には、そのような画像の販売先を特定することが可能となる。
【０００４】
なお、電子透かし技術では、認証用情報を重複して埋め込むことで、電子透かし画像の部分切り出しに対する耐久性を向上させるようにした方法がある。
【０００５】
【発明が解決しようとする課題】
ところで、ユーザが不正行為を隠蔽する場合に、以下の２つの方法が考えられる。
【０００６】
（１）電子透かし画像から、埋め込まれている認証用情報を取り除く。
【０００７】
（２）埋め込まれている認証用情報の抽出を妨げるために、画像変形などの改竄を行う。
【０００８】
従来の電子透かし技術では、項目（１）を防止する各種方法が考案されている。しかし、項目（２）を防止する方法は、認証用情報を重複して埋め込む方法しかなく、この方法で防止可能な改竄は、電子透かし画像の部分切り出しのみであった。
【０００９】
拡大／縮小や回転などの幾何的な座標変換を施した改竄では画像劣化が起こるが、従来の電子透かし技術では、画像劣化を考慮していないので、劣化した画像から、認証用情報に相当する情報を精度よく抽出することができなかった。
【００１０】
そこで、本発明の目的は、改竄によって劣化した画像についても、認証用情報に相当する情報を精度よく抽出することを可能とすることにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明は、第１に、
認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
上記抽出処理において、
上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
複数の差分画像の各々から、上記認証用情報に相当する情報を抽出することを特徴とした電子透かし画像の認証方法を提供している。
【００１２】
また、上記目的を達成するために、本発明は、第２に、
認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
上記抽出処理において、
上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
複数の差分画像を各々表示し、外部から指示された差分画像から、上記認証用情報に相当する情報を抽出することを特徴とした電子透かし画像の認証方法を提供している。
【００１３】
また、上記目的を達成するために、本発明は、第３に、
認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
上記抽出処理において、
上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
複数の差分画像の各々について誤差の統計量を算出し、算出した統計量が最小の差分画像から、上記認証用情報に相当する情報を抽出することを特徴とした電子透かし画像の認証方法を提供している。
【００１４】
すなわち、本発明の考え方は、
上記抽出処理において、
上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
幾何変換した検査対象画像の、上記原画像に対する画像劣化の程度を推定し、
推定した程度だけ上記原画像を劣化させた劣化原画像を作成し、
幾何変換した検査対象画像と作成した劣化原画像との間の差分をとった差分画像から、上記認証用情報に相当する情報を抽出するようにするということであり、画像劣化の程度を推定することを現実問題としたときに、それを可能とするために、予め複数種類の劣化原画像を作成するようにしている。
【００１５】
なお、いずれの方法においても、
上記抽出処理において、
上記検査対象画像と上記原画像との間の対応位置を定める複数の対応点から、上記原画像および上記検査対象画像を互いに同縮尺のサイズに幾何変換するために必要な相互の幾何変換係数を算出し、
算出した相互の幾何変換係数を基に、予め用意された複数種類の補間法を各々用いて補間しながら、上記原画像を、上記検査対象画像と同縮尺のサイズに幾何変換してから、再び元のサイズに幾何変換することで、
上記原画像を各々劣化させた複数種類の劣化原画像を作成するようにすることができる。
【００１６】
また、いずれの方法においても、
上記抽出処理において、
上記検査対象画像と上記原画像との間の対応位置を定める複数の対応点から、上記検査対象画像を幾何変換するために必要な幾何変換係数を算出し、
算出した幾何変換係数を基に、上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換するようにすることができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００１８】
（第１の実施形態）
以下、本発明の第１の実施形態について説明する。
【００１９】
第１の実施形態に係る電子透かしシステムは、ディジタル著作物である原画像に認証用情報を埋め込んだ電子透かし画像を販売すると共に、検査対象画像から、認証用情報に相当する情報を抽出し、販売時に埋め込んだ認証用情報と比較することで、ユーザの不正行為を発見・対処するものである。
【００２０】
図１に、第１の実施形態に係る電子透かしシステムの動作概要を示す。
【００２１】
図１に示すように、第１の実施形態に係る電子透かしシステムにおいては、埋め込み処理１１０および抽出処理１２０が、以下の手順に従った処理を行う。
【００２２】
手順１：まず、埋め込み処理１１０が、原画像である画像Ａ１０１および認証用データ（認証用情報）１０２を入力し、画像Ａ１０１に対する埋め込み座標を示す埋め込み位置１０３を決定し、決定した埋め込み位置１０３を基に、販売すべき電子透かし画像である画像Ｂ１０４を作成する。
【００２３】
手順２：続いて、埋め込み処理１１０が、作成した画像Ｂ１０４をユーザへ販売する。
【００２４】
ここで、ユーザが、購入した画像Ｂ１０４に対して、改竄・転売・譲渡等の不正行為を働いたものと仮定し、ユーザが不正行為を働いた画像を、画像Ｂ’１０５とする。
【００２５】
手順３：抽出処理１２０が、画像Ｂ’１０５を入手する。
【００２６】
手順４：続いて、抽出処理１２０が、入手した画像Ｂ’１０５から、埋め込み位置１０３に基づいて、検出データ（認証用情報に相当する情報）１０６を抽出する。
【００２７】
これにより、抽出された検出データ１０６と認証用データ１０２とを比較することで、ユーザの不正行為の有無を判断することが可能となる。
【００２８】
なお、第１の実施形態に係る電子透かしシステムは、上述した手順を実行するためのアルゴリズムを記述したプログラムを、パーソナルコンピュータなどの情報処理装置にインストールすることで、実現することが可能である。
【００２９】
上記手順における各種データについて、図２を用いて説明する。
【００３０】
図２に示すように、認証用データ１０２は、ロゴマーク・販売日・販売先などの、ユーザの不正行為の有力な判断となり得る情報を、２次元の画像として表現したものであり、各ピクセル値は、０または１の２値をとる。
【００３１】
また、図２に示すように、埋め込み位置１０３は、画像Ａ１０１に対する認証用データ１０２の埋め込み座標を番号付けした表である。埋め込み処理１１０は、埋め込み位置１０３を基に、認証用データ１０２を画像Ａ１０１に埋め込むことで、画像Ｂ１０４を作成する。
【００３２】
そこで、図２に示すように、画像Ａ１０１および画像Ｂ１０４は、共に、２次元の濃淡画像であり、目視では同じ画像に見えるが、画像Ｂ１０４には、認証用データ１０２が画像全体にまばらに配置されている。
【００３３】
一方、図２に示すように、画像Ｂ’１０５は、画像Ｂ１０４に対して、ユーザが切り出し・回転・拡大／縮小などの改竄を行ったものである。抽出処理１２０は、画像Ｂ’１０５から、埋め込み位置１０３を基に、検出データ１０６を抽出する。
【００３４】
画像Ｂ１０４から抽出される検出データ１０６は、認証用データ１０２と同じものとなるが、画像Ｂ’１０５は改竄された画像であることから、図２に示すように、画像Ｂ’１０５から抽出される検出データ１０６は、認証用データ１０２とは異なるものとなる。
【００３５】
このように、第１の実施形態に係る電子透かしシステムにおいては、原画像（＝画像Ａ１０１）に認証用データ１０２を埋め込んだ電子透かし画像（＝画像Ｂ１０４）、または、ユーザが改竄した電子透かし画像（＝画像Ｂ’１０５）を検査対象画像として、検査対象画像から検出データ１０６を抽出し、認証用データ１０２と比較するものである。
【００３６】
ここで、上述したように、拡大／縮小や回転などの幾何的な座標変換を施した改竄では画像劣化が起こるが、従来の電子透かし技術では、画像劣化を考慮していないので、劣化した検査対象画像から、検出データ１０６を精度よく抽出することができなかった。
【００３７】
そこで、第１の実施形態においては、改竄によって劣化した検査対象画像についても、検出データ１０６を精度よく抽出することを可能とするために、抽出処理１２０が、検出データ１０６を抽出する際に、まず、検査対象画像を、原画像と同縮尺のサイズに幾何変換し、続いて、原画像を画像劣化させた劣化原画像を複数種類作成し、これらの劣化原画像の各々と幾何変換した検査対象画像との間で差分をとることで、画像の劣化成分を相殺させてから、検出データ１０６を抽出するようにした点を特徴としている。
【００３８】
複数種類の劣化原画像を作成することで、これらの劣化原画像のうちのいずれか１つが、検査対象画像と同程度の画像劣化を有することになるので、そのような劣化原画像と検査対象画像との間の差分画像から、検出データ１０６を抽出すれば、検出データ１０６の精度を向上させることが可能となる。
【００３９】
以下、埋め込み処理１１０について説明し、次に、第１の実施形態の特徴を有する抽出処理１２０について説明する。
【００４０】
図３は、埋め込み処理１１０の処理手順を示すフローチャートである。
【００４１】
図３に示すように、埋め込み処理１１０においては、まず、認証用データ１０２をビット列変換する（ステップ３０１）。ステップ３０１では、詳しくは、図４に示すように、認証用データ１０２の座標（０，０）のピクセルから、ｘ軸方向に順に走査していき、０または１の一連のビット列４０１を作成する。
【００４２】
続いて、ステップ３０１で作成したビット列４０１から、±α（αは定数）の符号データを作成する（ステップ３０２）。ステップ３０２では、詳しくは、図４に示すように、ビット列４０１において、０を−αに置換し、１を＋αに置換する処理を実行し、±αの符号データ４０２を作成する。
【００４３】
続いて、原画像である画像Ａ１０１を、ｍ×ｍの領域（ｍは定数）に分割し、分割した各領域内の分散を求める（ステップ３０３）。ステップ３０３では、詳しくは、分割した各領域内の分散を、次式を用いて求め、図４に示す分散マップ４０３を作成する。
【００４４】
【数１】
0003563270.tif 000002
【００４５】
続いて、ステップ３０３で作成した分散マップ４０３を基に、埋め込み位置１０３を決定する（ステップ３０４）。ステップ３０４では、詳しくは、図４に示すように、分散マップ４０３において、分散が大きい順に、領域中央の座標（ｘ，ｙ）を求め、埋め込み位置１０３とする。このとき、埋め込み位置１０３の個数ｑ（ｑは定数）に達するまで、座標（ｘ，ｙ）を求めていき、符号データ４０２を繰り返し埋め込めるよう、埋め込み位置１０３を決定する。ここで、ｑ＞符号データ４０２のデータ数であり、埋め込み位置１０３の番号＝１，…，符号データ４０２のデータ数である。
【００４６】
続いて、ステップ３０４で決定した埋め込み位置１０３を基に、埋め込み画像を作成する（ステップ３０５）。ステップ３０５では、詳しくは、図４に示すように、埋め込み位置１０３を基に、符号データ４０２中の各データを順に配置し、埋め込み画像４０４を作成する。このとき、埋め込み位置１０３の最大番号ｑに達するまで、繰り返し配置を行う。そこで、埋め込み画像４０４は、埋め込み位置１０３の座標を中心としたｍ×ｍの領域に対して、−αまたは＋αの値となり、その他の領域に対して、０の値となる。
【００４７】
続いて、ステップ３０５で作成した埋め込み画像４０４と原画像である画像Ａ１０１とを加算することで、電子透かし画像である画像Ｂ１０４を作成する（ステップ３０６）。ステップ３０６では、詳しくは、埋め込み画像４０４および画像Ａ１０１の全ピクセルについて、同一座標（ｘ，ｙ）上のピクセル値を加算する。
【００４８】
図５は、抽出処理１２０の処理手順を示すフローチャートである。
【００４９】
なお、ここでは、検査対象画像が画像Ｂ’１０５であるものとして説明する。
【００５０】
図５に示すように、抽出処理１２０においては、まず、原画像である画像Ａ１０１と検査対象画像である画像Ｂ’１０５との間の位置関係を明確にするために、マッチング処理を行って、図６に示す複数の対応点５１１を求める（ステップ５０１）。
【００５１】
マッチング処理には種々の方法があり、特に基本となる方法としては、「画像解析ハンドブック（高木幹雄・下田陽久監修，東京大学出版会，平成３年１月発行）」の７０７頁〜７１２頁に記載されているテンプレートマッチングがある。
【００５２】
テンプレートマッチングの詳細については説明を省略するが、その特徴について以下に説明する。
【００５３】
画像Ａ１０１に対してテンプレートを設け、画像Ｂ’１０５に対してサーチエリアを設ける。テンプレートは、画像中のエッジなどの特徴点を中心とした小領域の画像であり、サーチエリアは、テンプレートの画像が映っている領域の画像である。テンプレートマッチングによって、テンプレートに対するサーチエリア内の類似度の大きな場所が出力され、テンプレートの中心位置、および、類似度の大きな場所が、画像Ａ１０１と画像Ｂ’１０５との間の対応位置を定める対応点５１１となる。
【００５４】
そこで、このような動作を繰り返すことで、複数個の対応点５１１を求めることができる。なお、後述するアフィン変換係数を求めるためには、ステップ５０１では、少なくとも３個の対応点５１１を求めておく必要がある。
【００５５】
さて、ステップ５０１のマッチング処理に失敗がなく、求めた対応点５１１が全て正確な対応位置を示していると仮定して、以下のステップに進む。なお、マッチング処理に失敗した場合の処理については、第２の実施形態として後述する。
【００５６】
図５に戻って、抽出処理１２０においては、ステップ５０１で求めた対応点５１１を基に、画像Ｂ’１０５を幾何変換し、画像Ａ１０１と同縮尺のサイズの画像を作成する（ステップ５０２）。詳しくは、ステップ５０２では、図７に示すように、画像Ｂ’１０５を幾何変換し、画像Ａ１０１と同縮尺のサイズの画像である画像Ｃ７０１を作成する。
【００５７】
ステップ５０２の手順は、以下の通りである。
【００５８】
すなわち、ステップ５０２では、まず、ステップ５０１で求めた対応点５１１を基に、幾何変換係数を算出する。ここでは、幾何変換の種類として、アフィン変換（１次変換）を例にして説明する。アフィン変換式を次式に示す。
【００５９】
【数２】
0003563270.tif 000003
【００６０】
本式にて画像Ｃ７０１の点から画像Ｂ’１０５の点を算出することにより、画像Ｂ’１０５を画像Ｃ７０１へ幾何変換することに注意する。
【００６１】
なお、アフィン変換の幾何変換係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）は、次式から最小２乗法を用いて算出する。最小２乗法の詳細は、「たれでもわかる数値解析入門（新濃清志・船田哲夫共薯，近代科学社，平成７年１２月発行）」の４９頁〜５６頁に記載されているので、説明を省略する。
【００６２】
【数３】
0003563270.tif 000004
【００６３】
【数４】
0003563270.tif 000005
【００６４】
続いて、ステップ５０２では、画像Ｃ７０１上の着目格子点（ｘｃ，ｙｃ）の座標を、上記アフィン変換式にて幾何変換して、画像Ｂ’１０５上の浮動小数点（ｘｂ，ｙｂ）の座標を算出する。さらに、画像Ｂ’１０５上の浮動小数点（ｘｂ，ｙｂ）近傍の４×４格子点のピクセル値を用いて、キュービックコンボリューションにより、画像Ｃ７０１上の着目格子点（ｘｃ，ｙｃ）のピクセル値を算出する。
【００６５】
なお、キュービックコンボリューションの詳細は、「画像解析ハンドブック（高木幹雄・下田陽久監修，東京大学出版会，平成３年１月発行）」の４４３頁〜４４４頁に記載されているので、説明を省略する。
【００６６】
図５に戻って、抽出処理１２０においては、画像Ａ１０１を劣化させた複数種類の劣化原画像を作成する（ステップ５０３）。詳しくは、ステップ５０３では、画像Ａ１０１を劣化させ、図７に示すように、劣化原画像Ａｎ７０２（ｎ＝１，２，…，ｐ：ｐは補間法の個数）を作成する。
【００６７】
ステップ５０３の手順を、図８を用いて説明する。
【００６８】
すなわち、ステップ５０３では、図８に示すように、まず、ステップ５０１で求めた対応点５１１を基に、画像Ａ１０１から画像Ｂ１０４への幾何変換および逆幾何変換の係数を算出する（ステップ８０１）。幾何変換係数および逆幾何変換係数は、ステップ５０２と同様にして算出できる。
【００６９】
続いて、予め用意された複数種類の補間法のうちの１つを選択する（ステップ８０２）。ここでは、一般によく知られている、キュービックコンボリューション，バイリニア，二アレストネイバーという３種類（ｐ＝３）の補間法を用意することとする。なお、これらの補間法の詳細は、「画像解析ハンドブック（高木幹雄・下田陽久監修，東京大学出版会，平成３年１月発行）」の４４１頁〜４４４頁に記載されているので、説明を省略する。
【００７０】
続いて、ステップ８０２で選択した補間法を用いて、画像Ａ１０１を幾何変換し、画像Ａ’を作成する（ステップ８０３）。ステップ８０２では、詳しくは、画像Ａ’上の着目格子点（ｘａ’，ｙａ’）の座標を幾何変換式で幾何変換して、画像Ａ１０１上の不動小数点（ｘａ，ｙａ）の座標を算出し、さらに、画像Ａ１０１上の浮動小数点（ｘａ，ｙａ）近傍の格子点のピクセル値を基に、選択した補間法を用いて、画像Ａ’上の着目格子点（ｘａ’，ｙａ’）のピクセル値を算出することで、画像Ａ’を作成する。
【００７１】
続いて、ステップ８０３で作成した画像Ａ’を逆幾何変換し、劣化原画像Ａｎを作成する（ステップ８０４）。なお、逆幾何変換は、補間をキュービックコンボリューションとし、ステップ８０３における幾何変換と同様の処理を行う。
【００７２】
全ての補間法（本例では、キュービックコンボリューション，バイリニア，二アレストネイバーという３種類の補間法）が終了するまで（ステップ８０５）、ステップ８０１〜ステップ８０４を繰り返す。
【００７３】
これにより、原画像である画像Ａ１０１を劣化させた複数種類の劣化原画像Ａｎ７０２を作成することができる。これらの劣化原画像Ａｎ７０２のうちのいずれか１つは、ユーザの改竄時に劣化を生じた画像Ｂ’１０５と同程度の画像劣化を有することになるので、後述する検出データ１０６の抽出精度を向上させることが可能となる。
【００７４】
図５に戻って、抽出処理１２０においては、ステップ５０２で作成した画像Ｃ７０１と、ステップ５０３で作成した劣化原画像Ａｎ７０２の各々との間の差分をとる（ステップ５０４）。詳しくは、ステップ５０４では、画像Ｃ７０１から劣化原画像Ａｎ７０２を減算し、図７に示すように、差分画像ｎ７０３を作成する。具体的には、画像Ｃ７０１および劣化原画像Ａｎの同一座標（ｘ，ｙ）上のピクセル値の差分をとる処理を、全ピクセルについて終了するまで、繰り返し実行する。そして、画像Ｃ７０１にピクセルがない場合（劣化原画像Ａｎより画像Ｃの方が小さい画像である場合）には、０値を代入する。
【００７５】
ここで、画像Ｃ７０１および劣化原画像Ａｎの、画像Ａ１０１に対する画像劣化の程度が同程度であった場合、差分画像ｎ７０３は、符号データ４０２を配置して作成した埋め込み画像４０４の全体または一部と類似した画像となる。
【００７６】
すなわち、画像Ｃ７０１上の（ｘ，ｙ）におけるピクセル値をｃとし、画像劣化がない真値をｃ’とし、画像劣化が同程度である画像Ａｎ７０１上の（ｘ，ｙ）におけるピクセル値をａとし、画像劣化がない真値をａ’とし、劣化値をγとすると、ピクセルｃ−ピクセルａは、（ｃ’−γ）−（ａ’−γ）＝ｃ’−ａ’となり、これは、画像Ｃ７０１の真値−画像Ａｎ１０１の真値に相当する。この結果、差分画像ｎ７０３では、画像Ｃ７０１および劣化原画像Ａｎで同程度の劣化値γが相殺される。
【００７７】
続いて、埋め込み処理１１０で決定した埋め込み位置１０３を基に、ステップ５０４で作成した差分画像ｎから、埋め込み位置１０３に相当するピクセル値のフラグを検出する（ステップ５０５）。詳しくは、ステップ５０５では、ステップ５０４で作成した差分画像ｎの、埋め込み位置１０３に相当するピクセル値の正負のフラグを判定し、図７に示すように、検出フラグｎ７０４を作成する。具体的には、埋め込み位置１０３の番号順に、埋め込み位置１０３の座標を中心としたｍ×ｍの小領域のピクセル値の平均をとり、その平均値が正値である場合に＋とし、負値である場合に−とし、０値である場合に空白とした、フラグの列を作成する。なお、埋め込み位置１０３の番号が同じである複数の座標については、正負のフラグを判定した後で、＋が−より多ければ＋にし、逆であれば−にする処理を、ｐ個の差分画像について行うようにする。
【００７８】
続いて、ステップ５０５で作成した検出フラグｎ７０４をビット列変換する（ステップ５０６）。詳しくは、ステップ５０６では、図７に示すように、検出フラグｎ７０４において、＋を１に置換し、−をに置換し、空白をそのままに置換する処理を、ｎ個のフラグの各々について実行することで、０または１の一連のビット列７０５を作成する。
【００７９】
続いて、ステップ５０６で作成したビット列７０５を、検出データｎ１０６に変換する（ステップ５０７）。詳しくは、ステップ５０７では、図７に示すように、ビット列７０５のビットを順に走査していき、検出データｎ１０６のピクセル値に置き換える。
【００８０】
上述した抽出処理１２０によって、劣化原画像Ａｎ７０２の違いによるｐ個の検出データ１０６が得られることとなる。これらの検出データ１０６のうち、認証用データ１０２に類似するものがあれば、画像Ｂ’１０５は画像Ｂ１０４を改竄された画像であり、ユーザによる不正行為があった証拠となり得る。
【００８１】
以上説明したように、第１の実施形態によれば、抽出処理１２０が、検出データ１０６を抽出する際に、まず、検査対象画像を、原画像と同縮尺のサイズに幾何変換し、続いて、原画像を画像劣化させた劣化原画像を複数種類作成し、これらの劣化原画像の各々と幾何変換した検査対象画像との間で差分をとることで、画像の劣化成分を相殺させてから、検出データ１０６を抽出するようにしているので、改竄によって劣化した検査対象画像についても、検出データ１０６を精度よく抽出することができる。
【００８２】
なお、第１の実施形態においては、認証用データ１０２が２次元画像であるものとして説明したが、認証用データ１０２を、一般に知られているＡＳＣＩＩコードなどの文字コード列であるようにしてもよい。このようにする場合は、埋め込み処理１１０が、図３のステップ３０１で、文字コード列をビット列に変換するようにすると共に、抽出処理１２０が、図５のステップ５０７で、ビット列を文字コード列の検出データ１０６に変換するようにすればよい。
【００８３】
また、第１の実施形態においては、抽出処理１２０が、ｐ個の検出データ１０６を作成したが、１個の検出データ１０６のみを作成するようにすることができる。このようにする場合、ｐ個の差分画像７０３を作成した時点で、検出データ１０６の抽出に適切な差分画像ｎ７０３を特定し、特定した差分画像ｎ７０３についてのみ、図５のステップ５０５〜ステップ５０７を実行するようにすればよい。
【００８４】
ここで、適切な差分画像ｎ７０３を特定するためには、以下の２つの方法が考えられる。
【００８５】
１つ目は、ｐ個の差分画像ｎ７０３を印刷または表示し、目視による選択を行わせる方法である。検査者は、ノイズが多い差分画像ｎ７０３を排除し、埋め込み位置１０３のｍ×ｍ領域が目視で確認できる差分画像ｎ７０３を選択すればよい。
【００８６】
２つ目は、ｐ個の差分画像ｎ７０３の各々のＲＭＳ（２乗誤差平均の平方根）などの統計量を用いて特定する方法である。例えば、ＲＭＳを用いる場合は、ＲＭＳ値が小さい差分画像ｎ７０３を選択すればよい。
【００８７】
また、第１の実施形態においては、検出データ１０６と認証用データ１０２とを比較することで、ユーザの不正行為の有無を判断するものとして説明したが、検出データ１０６の精度が高い場合など、比較の必要がない場合には、検出データ１０６の内容から、ユーザの不正行為の有無を判断するようにすることも可能である。
【００８８】
また、第１の実施形態においては、認証用データ１０２が１つである場合について説明したが、例えば、画像Ａ１０１を複数のユーザに販売する目的で、各ユーザに別々の認証用データ１０２を用いるような場合にも適用可能である。この場合、ユーザごとに固有な内容の複数の認証用データ１０２を用意し、埋め込み処理１１０を、認証用データ１０２の数だけ実行するようにすればよい。なお、このとき、埋め込み位置１０３は、埋め込み処理１１０を複数回実行しても変化しないので、埋め込み位置１０３は、１回目の実行時に決定したものを用い、２回目以降の実行では、図３のステップ３０３〜ステップ３０４を省略してもよい。
【００８９】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００９０】
第２の実施形態は、図５のステップ５０１のマッチング処理に失敗した場合、すなわち、マッチング処理で求めた対応点５１１の位置誤差が大きい場合に、対応点５１１を修正するようにした点を特徴としている。
【００９１】
対応点５１１を修正することで、画像Ａ１０１と同縮尺のサイズになるように画像Ｂ’１０５を幾何変換した画像Ｃ７０１の、画像Ａ１０１に対する位置精度を向上させることができるので、検出データ１０６の精度を向上させることが可能となる。
【００９２】
第２の実施形態において、第１の実施形態と異なる部分は、抽出処理１２０が対応点５１１の修正を伴う点のみであるので、以下、その点についてのみ説明する。
【００９３】
図９は、抽出処理１２０の処理手順を示すフローチャートである。
【００９４】
なお、ここでも、検査対象画像が画像Ｂ’１０５であるものとして説明する。
【００９５】
図９に示すように、抽出処理１２０においては、まず、図５のステップ５０１〜ステップ５０２と同様の処理を行う。
【００９６】
続いて、ステップ５１１で求めた対応点５１１を修正する必要があるか否かを判定する（ステップ９０１）。ステップ９０１では、詳しくは、対応点５１１を修正する必要があるか否かを判定するために、画像Ａ１０１および画像Ｃ７０１を表示し、画像Ａ１０１に対する画像Ｃ７０１の歪み具合を検査者が目視することができるようにする。
【００９７】
ここで、歪みとは、原画像に対する比較画像にズレまたは歪曲が生じていることを意味しており、歪みが小さい場合は、検査者の指示によって、ステップ５０３に進み、図５のステップ５０３〜ステップ５０７と同様の処理を行う。
【００９８】
一方、歪みが大きい場合は、対応点５１１を修正する必要があるので、検査者の指示によって、ステップ９０２に進み、対応点５１１を修正する（ステップ９０１）。
【００９９】
ステップ９０２の手順は、以下の通りである。
【０１００】
すなわち、ステップ９０２では、まず、図１０に示すように、ディスプレイ１００１に、画像Ａ１０１および画像Ｃ７０１を表示すると共に、対応点５１１中の画像Ａ１０１の対応点を、画像Ａ１０１に重ね合わせて表示し、画像Ｂ’１０５の対応点を、画像Ｃ７０１上に座標変換して重ね合せて表示する。なお、対応点の座標変換は、図５のステップ５０２における処理のうちから、補間を除いた処理となる。
【０１０１】
検査者は、マウスなどの入力デバイスを用いて、ディスプレイ１００１上のポインタ１００２を移動させることで、所望の対応点を、修正すべき位置に移動させるよう修正する。なお、検査者は、画像Ａ１０１および画像Ｃ７０１上の特徴となる場所を目視で確認し、その中心付近をポインタ１００２で指示することで、修正すべき位置を指定することができる。
【０１０２】
このとき、指定位置を検査者が確認することができるようにするために、図１０に示すように、拡大表示領域１００３〜１００４に、指定位置の付近の拡大画像を表示するようにすることが好ましい。
【０１０３】
また、指定位置は、対応点表１００５に表示され、全てに対応点の修正が終了すると、修正検査者の指示によって、ステップ５０２に戻ることができる。なお、ステップ５０２に戻った際に、画像Ｃ７０１における新たな対応点を、画像Ｂ’１０５上の対応点へと座標変換し、画像Ａ１０１における新たな対応点と共に、対応点５１１として変更される。
【０１０４】
これにより、ステップ５０１のマッチング処理に失敗し、対応点５１１の位置誤差が大きい場合でも、画像Ａ１０１と同縮尺のサイズになるように画像Ｂ’１０５を幾何変換した画像Ｃ７０１を用いて、対応点５１１を修正することができる。
【０１０５】
従って、第２の実施形態によれば、対応点５１１を修正することで、画像Ｃ７０１の、画像Ａ１０１に対する位置精度を向上させることができるので、検出データ１０６の精度を向上させることが可能となる。
【０１０６】
なお、第２の実施形態においては、画像Ａ１０１および画像Ｃ７０１を用いて対応点５１１の修正を行ったが、画像Ｃ７０１の代わりに、差分画像Ａｎ７０３を用いるようにしてもよい。
【０１０７】
図１１に、対応点５１１の位置誤差が大きい場合の差分画像Ａｎ７０３の例を示す。
【０１０８】
図１１に示すように、対応点５１１の位置誤差が大きい場合の差分画像１１０１では、スジ状の劣化が生じる。これは、位置誤差によって、埋め込まれている符号データ４０２のみならず、画像Ａ１０１中に映っている物体のエッジが露見してしまうためである。そこで、検査者は、差分画像１１０１を用いて修正する際には、エッジの露見が目立たなくなるように、対応点の位置指定を行うようにすればよい。
【０１０９】
ところで、第１の実施形態および第２の実施形態のいずれにおいても、図５のステップ５０４で、図１１に示す差分画像１１０１のように劣化が大きい場所がある場合に、そのような場所を、検出不可能領域として扱い、検出不可能領域を除く領域について、ステップ５０４以降を行うようにすることができる。
【０１１０】
【発明の効果】
以上説明したように、本発明によれば、原画像と同縮尺のサイズに幾何変換した検査対象画像と、原画像を画像劣化させた複数種類の劣化原画像の各々との間で差分をとることで、画像の劣化成分を相殺させてから、認証用情報に相当する情報を抽出するようにしているので、改竄によって劣化した検査対象画像についても、認証用情報に相当する情報を精度よく抽出することが可能となる。
【図面の簡単な説明】
【図１】第１の実施形態に係る電子透かしシステムの動作概要を示す説明図。
【図２】第１の実施形態における各種データを示す説明図。
【図３】第１の実施形態における埋め込み処理の処理手順を示すフローチャート。
【図４】第１の実施形態における埋め込み処理の処理概要を示す説明図。
【図５】第１の実施形態における抽出処理の処理手順を示すフローチャート。
【図６】第１の実施形態における対応点を示す説明図。
【図７】第１の実施形態における抽出処理の処理概要を示す説明図。
【図８】図５の抽出処理における劣化原画像作成手順を示すフローチャート。
【図９】第２の実施形態における抽出処理の処理手順を示すフローチャート。
【図１０】第２の実施形態における対応点修正のための入力インタフェースを示す説明図。
【図１１】第２の実施形態における差分画像を示す説明図。
【符号の説明】
１０１…画像Ａ、１０２…認証用データ、１０３…埋め込み位置、１０４…画像Ｂ、１０５…画像Ｂ’、１０６…検出データ、１１０…埋め込み処理、１２０…抽出処理、４０１…ビット列、４０２…符号データ、４０３…分散マップ、４０４…埋め込み画像、５１１…対応点、７０１…画像Ｃ、７０２…劣化原画像、７０３…差分画像、７０４…検出フラグ、７０５…ビット列、１００１…ディスプレイ、１００２…ポインタ、１００３，１００４…拡大表示領域、１００５…対応点表、１１０１…差分画像。
【図１】
0003563270.tif 000006
【図２】
0003563270.tif 000007
【図３】
0003563270.tif 000008
【図４】
0003563270.tif 000009
【図５】
0003563270.tif 000010
【図６】
0003563270.tif 000011
【図７】
0003563270.tif 000012
【図８】
0003563270.tif 000013
【図９】
0003563270.tif 000014
【図１０】
0003563270.tif 000015
【図１１】
0003563270.tif 000016