(57)【要約】【課題】不可視の電子透かし法で、特に、第三者からの攻撃に対して透かしの除去が困難で耐性の強い電子透かし装置および方法を得る。【解決手段】画像データをブロックに分割し、ブロックごとにグリーンノイズ特性を示す異なるドットパターンp0 , q0、およびその反転パターンの中から、あらかじめ乱数列で決められた選択リストにより埋め込みパターンを選択し、選択されたパターンで透かし埋め込みを行う、第三者からの攻撃に強靭な不可視の安全性の高い電子透かし法を提供する。【選択図】図４
2020088469.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像データに透かし情報を埋め込む電子透かし法において、画像データをブロックに分割し、それぞれのブロックにおいて，グリーンノイズ特性を示し異なるスペクトル形状を呈す2つの基本ドットパターンp0 , q0、およびその反転パターンの中から、埋め込む透かしのビット情報（0あるいは1）および選択リストにより埋め込みパターンを選択し、かかるパターンにgainを乗じて画像データに重畳し、透かし埋め込み画像を生成し、
透かし情報の抽出は、透かしの埋め込まれた画像データをブロックに分割し、ブロックのフーリエスペクトルパターンの形状から，埋め込みビット情報を抽出することを特徴とする電子透かし装置および方法。
【請求項２】
前記反転ドットパターンは、前記2個の基本ドットパターンp0,q0から生成され、
p1,q1：上下反転ドットパターン、
p2,q2：左右反転ドットパターン、
p3,q3：上下および左右反転ドットパターン、
p4,q4：p0,q0のネガ・ポジ反転ドットパターン、  
p5,q5：p1,q1のネガ・ポジ反転ドットパターン、
p6,q6：p2,q2のネガ・ポジ反転ドットパターン、
p7,q7：p3,q3のネガ・ポジ反転ドットパターン、
となる各々7個の反転パターンを含めた各々8個のドットパターンpi, qi (i=0,1,…,7)のすべて、あるいはその一部であり、
前記選択リストは、pi, qiドットパターンの選択順を示したものであることを特徴とする請求項１に記載の電子透かし装置および方法。
【請求項３】
前記基本ドットパターンp0,q0は、おのおのスペクトル形状は同一であるがドットパターンが異なるｋ個のパターンから成り、反転ドットパターンを含めた全部で8×k個のドットパターンのすべて、あるいはその一部を埋め込み用のドットパターンとし、
選択リストは、それらのドットパターンの選択順を示したものであることを特徴とする請求項１に記載の電子透かし装置および方法。
【請求項４】
前記選択リストは、用いられる複数のドットパターンの選択順を乱数発生器によりランダムに順序を発生したものであることを特徴とする請求項３に記載の電子透かし装置及び方法。
【請求項５】
前記電子透かしは、i個の基本ドットパターンpiおよびqi,  それにgain、埋め込み情報および選択リストから構成された鍵により、埋め込まれた透かしを除去することができることを特徴とする請求項４に記載の電子透かし装置および方法。
【請求項６】
前記電子透かしは、基本ドットパターンqiは基本ドットパターンpiから生成されたものであり、鍵は、i個の基本ドットパターンpiと、gain、埋め込み情報および選択リストから構成されていることを特徴とする請求項４に記載の電子透かし装置および方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，著作権保護や偽造防止を目的としてデジタル画像データに情報を埋め込む電子透かし法で、特に第三者からの攻撃による透かし除去に対して高耐性を有す不可視の電子透かし装置および方法に関するものである。
【背景技術】
【０００２】
現在のデジタル情報社会において，情報の複製により多くの人が情報を共有することが可能となり，社会が大きく発展してきた。しかし，その利便性が，他人の著作物を違法に複製し流通させることにより，著作権侵害などの事件が起こるようになった。画像においては，近年のデジタルカメラやプリンタの高画質化により，原画と寸分も違わぬ複製が容易に得られるようになり，著作権を侵害した違反コピーだけでなく，紙幣や有価証券等の偽造行為という悪質な犯罪行為を助長させる結果となっている。
【０００３】
そのような状況の中で，画像情報の中に別の情報，例えば，著作者情報等を埋め込み，著作権を保護したり、違法複写に警告を与えたりする不可視の電子透かし（Digital Watermark）技術が発展してきた。この電子透かし技術は、例えば、著作権保護の目的には、文書や画像の著作物の中に著作権者やURL、連絡先、利用条件などを埋め込み、利用者に注意を喚起するのみならず、不正利用された場合には、その追跡を可能とする。また、違法複写においては警告を与えると同時に、複写装置において複写を止めたり、黒塗りの画像で出力するなどを可能とする。このように、著作権の管理・保護、ならびに不正複写の監視など、セキュリティー対策として電子透かしが広く使われ始めている。
【０００４】
このセキュリティ対策としての電子透かしは、頑強で簡単に消失あるいは除去できないものでなければならない。もしも、簡単な操作で透かし情報を除去や消去ができるならば、不正使用して追跡や監視の目から逃れることができるからである。
【０００５】
デジタルデータとしての電子透かしは，電子データのまま複製される限りは劣化や消失を生じない。しかし，画像を拡大や縮小、回転などの変換による画像編集や加工を行ったり、JPEGなどの画像圧縮を行ったりした場合には、埋め込まれた情報が消失しやすい。また、画像の一部を切り取って使うクロッピングでは、埋め込まれた透かし情報が壊れてしまう。以上のような事態を避け、著作権を保護や偽造防止をするためには、これら編集・加工に耐える強靭な電子透かし技術が必要である。
【０００６】
さらに、第三者が不正利用のために透かし情報を除去すること（第三者の攻撃）が想定される。様々な方法、様々な画像で埋め込みアルゴリズムを解析・推定することにより、埋め込み画像から透かし情報を除去し、原画に戻すことにより、不正利用を可能とする。このため、電子透かしアルゴリズムはこのような攻撃に対して防御する必要がある。
【０００７】
したがって、電子透かし法は、画像の編集・加工および第三者からの攻撃に対して、耐性が強靭（ロバスト）である必要がある。一方、強靭にするためには埋め込みの強度（gain）を強くする必要があるが、一般に、大きなgainは画質劣化を生じ、アーティファクトが視認されるようになる。ストックフォト等の営利目的のインターネット配信などでは、画像品質が重要で、著作権を保護するための策として画質劣化の生じない不可視の電子透かしが有効で、透かし埋め込み画像でも品質は原画に近いことが要請される。
【０００８】
通常、かかる耐性と画質はトレードオフの関係にある。すなわち、耐性を強くすると画質は低下し、画質劣化を少なくすると耐性は弱くなる。著作権保護を目的とする電子透かしは、画質と耐性の両方を両立させるアルゴリズムと手法が必要となる。
【０００９】
かかる要請を満たす電子透かし法として、周波数空間で透かし情報を埋め込む方法がある。画像を周波数変換を行い，埋め込み情報をある特定の周波数帯に埋め込む方法である。埋め込まれた情報は実空間では画像全体に分散するため，視覚的に目立ちにくいという特徴がある。
【００１０】
周波数空間での電子透かし法として非特許文献１は、画像をDCT変換（離散コサイン変換）し、DCT空間での中間周波数帯に透かし情報を埋め込む手法を提案している。埋め込まれた情報は実空間では画像全体に分散され希薄化する。埋め込み強度のgain を強くするとアーティファクトが強く発現し、埋め込み位置によりアーティファクトの形状が変化する。埋め込む位置が直流成分（０周波数）位置より放射状の中間周波数の複数点に埋め込んだ場合、実空間では斜め線の筋とり、長い筋の低周波ノイズとなり視認され画質が低下する。
【００１１】
一方、Wavelet変換後に埋め込む電子透かし法では、画像をDWT（Discrete Wavelet  Transform）変換し、そのWavelet成分に透かしの埋め込みを行う。gain を大きくした場合、逆変換した画像上に埋め込まれたパターンがアーティファクトとして発現する。この理由はWavelet変換は画像の空間位置を保存したスペクトル強度変換であるため，実空間で画像全体に分散されず埋め込み位置にそのまま表れるからである。LL成分に埋め込んだものは、HH成分に埋め込んだものより強く現れる。また、多階層変換では上位階層に埋め込むほどアーティファクトは強くなる．このためエッジ部に埋め込み分散させるなどの方法がとられるが画像依存性が強い。gainを小さくすれば画質上は問題とならないが，高耐性を必要とする場合は重要な問題となる。
【００１２】
そこで、特許文献1に示されるグリーンノイズパターンを画像データに埋め込む手法（以降、グリーンノイズ拡散法と呼ぶ）を、高耐性・高画質の電子透かし法として、以前提案した。グリーンノイズパターンは，そのスペクトルが特定の帯域f_(max)~f_minに閉じ込められ、その主周波数は、人の視覚特性で認識できにくい周波数帯に設定できる。このため、電子透かしに用いた場合、埋め込み画像を明視の距離で観察した場合、ドットパターンは低い応答性を示し認識されにくい。このため、埋め込み強度（gain）を上げて編集・加工に強靭にしてもアーティファクトが感じられず，高画質性が保たれたまま高耐性を保持できる。
【００１３】
グリーンノイズ拡散法では、画像をブロック分割し、埋め込みビットに応じたグリーンノイズドットパターンを画像データに重畳することにより埋め込み操作が行われる。透かしの抽出は、埋め込まれた画像をブロック単位でFFT（高速フーリエ変換）を施し、そのスペクトルの分布から埋め込み情報を抽出する。埋め込みは実空間で、抽出は周波数空間で行ういわゆる非対称型であり、かつ，グリーンノイズパターンはランダムドットのパターンのため、それ自体でも透かしを消去あるいは改ざんすることが難しい方式である。
【００１４】
しかしながら，原画像や平坦部のパターン，複数の画像などから透かしパターンを特定する、いわゆる結託攻撃（collusion attack）により、透かしが除去されることが想定される。埋め込まれた画像と原画像の差分をとることにより、埋め込みパターンを抽出することができる。原画像がなくても、画像の平坦部（例えば空の風景や海の風景など）に埋め込まれた画像から、ブロック単位で透かしパターンを部分的に抽出し、多数のブロックから埋め込みパターン全体を推定することが可能である。この問題を回避し、よりセキュリティーを高めるためには、これらの攻撃に対してさらに耐性を高めることが必要である。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開2018-182471
【非特許文献】
【００１６】
【非特許文献１】水本匡，松井甲子雄；”DCTを用いた電子透かしの印刷取り込み耐性の検討”, 電子情報通信学会誌A, Vol J85-A, No.4, pp.451-459 (2002)
【発明の概要】
【発明が解決しようとする課題】
【００１７】
画像の編集や加工に対する耐性があり、強く埋め込んでも画質の劣化が少ない電子透かしで、第三者からの攻撃に対しても透かし情報が除去されない強い耐性を示す電子透かし法を得ることが課題である。さらに，著作者および購入者が必要に応じて透かしを除去できることも課題である。そして、鍵の紛失に対して，被害が広範囲に広がらないようなセキュアなシステムにすることも課題である。
【課題を解決するための手段】
【００１８】
以上の課題を解決するために、本発明は、画像をブロック分割し、ブロックごとにグリーンノイズ特性を示すランダムなクラスタードットパターンを原画像に重畳し埋め込む電子透かし埋め込みを行う。
【００１９】
画像データをブロックに分割し、それぞれのブロックにおいて，グリーンノイズ特性を示し異なるスペクトル形状を呈す2つの基本ドットパターンp0 , q0、およびその反転パターンの中から、埋め込む透かしのビット情報（0あるいは1）および選択リストにより埋め込みパターンを選択し、かかるパターンにgainを乗じて画像データに重畳し、透かし埋め込み画像を生成し、
透かし情報の抽出は、透かしの埋め込まれた画像データをブロックに分割し、ブロックのフーリエスペクトルパターンの形状から，埋め込みビット情報を抽出する。
【００２０】
ここで、反転ドットパターンは、前記2個の基本ドットパターンp0,q0から生成され、
p1,q1：上下反転ドットパターン、
p2,q2：左右反転ドットパターン、
p3,q3：上下および左右反転ドットパターン、
p4,q4：p0,q0のネガドットパターン、
p5,q5：p1,q1のネガドットパターン、
p6,q6：p2,q2のネガドットパターン、
p7,q7：p3,q3のネガドットパターン、
となる各々7個の反転パターンを含めた各々8個のドットパターンpi, qi (i=0,1,…,7)のすべて、あるいはその一部であり、
前記選択リストは、pi, qiドットパターンの選択順を示したものである。
【００２１】
また、基本ドットパターンp0,q0は、おのおのスペクトル形状は同一であるがドットパターンが異なるｋ個のパターンから成り、反転ドットパターンを含めた全部で８×k個のドットパターンのすべて、あるいはその一部を埋め込み用のドットパターンとし、
選択リストは、それらのドットパターンの選択順を示したものである。
【００２２】
そして、かかる選択リストは、用いられる複数のドットパターンの選択順を乱数発生器によりランダムに順序を発生したものである
【００２３】
さらに、かかる電子透かしは、i個の基本ドットパターンpiおよびqi,  それにgain、埋め込み情報および選択リストから構成された鍵により、埋め込まれた透かしを除去することができる。
【００２４】
もし、基本ドットパターンqiが基本ドットパターンpiを用いて生成されたものを用いる場合は、かかる電子透かしはi個の基本ドットパターンpiとgain、埋め込み情報および選択リストから構成された鍵により、埋め込まれた透かしを除去することができる。
【発明の効果】
【００２５】
本発明により、第三者からの攻撃に対して強靭な透かし埋め込みが可能となる。透かし埋め込みドットパターンは反転ドットパターンを含め複数あるため、原画との差分や、画像の平坦部から基本ドットパターンを推定することは困難となる。
【００２６】
また、基本ドットパターンを複数個用いた場合には、その反転パターンを含めるとドットパターンはさらに多くなる。かつ、選択リストはランダムなため規則性がない。このためドットパターンの推定はさらに困難である。
【００２７】
一方、除去すおるための鍵は、通常、すべてのドットパターンを必要とするが、反転ドットパターンは基本ドットパターンから生成されるため、鍵情報としては基本ドットパターンp0,q0、gain、埋め込み情報および選択リストのみで済み、除去するための鍵は少容量でよい。
【００２８】
さらに、基本ドットパターンq0がp0から生成された場合は、鍵情報はp0、gain、埋め込み情報および選択リストのみで済み、除去するための鍵はさらに少容量となる。
【００２９】
かかる鍵により、透かしの埋め込まれた画像から透かしを除去し、元の画像(原画)に復元することができる。鍵は配信画像ごとに変えることにより、他の画像には無力である。その鍵を用いて新たな二次著作権情報を電子透かしとして埋め込むことも可能である。
【図面の簡単な説明】
【００３０】
【図１】本発明の電子透かしの埋め込みおよび抽出の装置の図、
【図２】透かし入り画像のインターネットでの配信を示した図、
【図３】埋め込み用基本ドットパターンの図で，（a)32×32で縦長楕円リングのスペクトル特性を有すもの、(b)はそれを90度回転したもの、(c)は64×64で縦長楕円リングのスペクトル特性を有すもの、(d)はそれを90度回転したもの。
【図４】基本ドットパターンと反転ドットパターンを表す図。
【図５】gainを変えて埋め込んだ画像とその一部拡大した図で、(a)はgain=0.0625, (b)は0.125、(c)は0.25。
【図６】透かし埋め込みの処理フローを表す図。
【図７】透かし埋め込み時のgain自動調整処理フローを表す図。
【図８】透かし抽出の処理フローを表す図。
【図９】透かし抽出のマスクパターンの図。
【図１０】透かし抽出のマスク処理を示す図。
【図１１】透かし抽出のマスク処理で信頼度向上を示す図。
【図１２】透かし埋め込み、抽出、除去の図で、(a)は透かしの埋め込まれた画像（gain=0.1875）,(b)は透かし抽出のためのスペクトル画像、(c)は透かしを除去した画像。
【図１３】同じスペクトルの異なるドットパターンを表す図。
【図１４】２つの基本ドットパターンと反転ドットパターンを表す図。
【発明を実施するための形態】
【００３１】
図１は本発明の情報埋め込みと抽出のための電子透かしシステムの構成図である。著作権保有者のコンピュータ３には、著作権を有す画像データが、例えばハードディスクなどのデータメモリ７に保管されている。画像データは、プログラムメモリ６にある画像処理プログラムにより、ＣＰＵ１１，ＲＯＭ ４，ＲＡＭ５などを用いて画像処理され、モニター８に表示される。コンピュータ３にはスキャナー１、プリンタ２が接続され、処理された画像はプリンタから出力されたり、またスキャナー１から画像読み取りができる。かかる画像処理は大きなサイズの画像を取り扱う場合，演算負荷が増大するため，並列処理を行ったり、ＧＰＵなどの高速化を図るための処理ボードが入っている場合もある。
【００３２】
画像中に機密情報や著作権情報を埋め込むためには、キーボード９から、例えば、著作者の名前や日付、ＵＲLなどの文字情報を入れる。埋め込み可能な文字数は画像サイズおよびブロックサイズにより異なる。５１２画素ｘ５１２画素でブロックサイズ６４画素×６４画素の時、最大８バイト、ブロックサイズ３２画素×３２画素の時、最大３２バイト可能である。これはＡＳＣＩＩコードに限れば，それぞれ8文字，32文字である。
【００３３】
図２は、一つの運用形態で，インターネット配信の処理手順を示すものである。透かし情報を埋め込まれた画像は、配信者あるいは著作権者１６のコンピュータからインターネット１２により配信される（１３）。それを見た購入希望者１７は、購入希望を配信者に連絡する（１４）。所定の手続き後、配信者は透かしの埋め込みと除去のための秘密鍵を配信する（１５）。購入者は、配信者との契約に基づき、送付された画像の埋め込まれた電子透かしを除去し、画像の編集加工を行うことができる。
【００３４】
図２は、一つの運用形態で，インターネット配信の処理手順を示すものである。透かし情報を埋め込まれた画像は、配信者あるいは著作権者１６のコンピュータからインターネット１２により配信される（１３）。それを見た購入希望者１７は、購入希望を配信者に連絡する（１４）。所定の手続き後、配信者は透かしの埋め込みと除去のための秘密鍵を配信する（１５）。購入者は、配信者との契約に基づき、送付された画像の埋め込まれた電子透かしを除去し、画像の編集加工を行うことができる。
【００３５】
その画像を見た第三者は、透かし抽出ソフトにより、この画像が著作権があることを確認できる。透かし抽出ソフトウェアは秘密性はなく、例えば，配信者や著作権者のホームページなどから自由にダウンロードできるようにして広く公開し、だれでも使用できる。第三者はこれにより画像の所有者や著作権情報、連絡先などを知ることができるため、不正使用の防止・警告にもなる。
【００３６】
一方、著作権者や二次著作権者は、その透かしにより、著作物としての画像データの追跡と監視を行うことが可能である。もし、第三者が不正に使用した場合、著作権者や二次著作権者は、監視ソフトウェアにより画像から透かし情報を読みだし、自己の著作物であること、さらに第三者が無断で使用している場合には摘発が可能となる。
【００３７】
鍵は埋め込む画像ごとに１対１で対応する。このため、著作権者は悪用されないように画像ごとに異なる鍵を用いる。この鍵を用いて他の画像の透かしを除去することはできない。鍵の紛失や第三者による結託攻撃による鍵の取得が起きても、その被害は該当する1枚の画像のみで、他の画像に対しては透かし除去はできない。このとき、透かし読み出しのソフトウェアは、鍵が異なっても共通に使える。また。鍵の発行はほぼ無限に行えるため，同じ鍵となる確率は極めて低い。
【実施例】
【００３８】
以下、実施例に沿って詳しく説明する。
ここで，まず本発明に用いられるグリーンノイズ特性を示すドットプロファイル作成アルゴリズムについて説明する．
今，求めるディザマトリックスサイズをR×R ( R=2^m)として，階調を表す黒化率をg（0≦g≦１：g =1が全黒，g =0 が全白）とする。黒化率g，点(x,y)におけるドットプロファイルを p(x,y)として、中間濃度(g=1/2)のドットプロファイルを以下の様にして求める。
(STEP１) まず，疑似乱数発生器により、(R^2)/2個のランダムドット（初期状態はホワイトノイズ）を発生させ、p(x,y)とする．この時，疑似乱数発生器のSEED値を変えることにより初期状態のドットプロファイルを変更可能である。かかるドットプロファイルの二次元フーリエ変換を行い，P(fx,fy)を得る。
(STEP２) P(fx,fy)にフィルタD(fx,fy)を掛けて、新たなP'(fx,fy)を得る。ここで、D(fx,fy)はラジアル周波数frがfmin〜fmaxの領域に値を持つフィルタである。
(STEP３) P'(fx,fy)に逆フーリエ変換を行い，多値の点プロファイルp'(x,y)を得る。
(STEP４）誤差関数e(x,y)=p'(x,y)-p(x,y)を求め，各画素位置での誤差の大きい順に白，黒反転する。
(STEP５）上記操作を誤差が許容量以内になるまで繰り返し，最終的にg=1/2のドットプロファイルp0を得る。
【００３９】
ここで、ラジアル周波数fmaxおよびfminの設定について説明する。フィルタD(u,v)のfmaxおよびfminにおけるg=1/2での平均的ドット間隔による周波数は，
ｆo＝√g・ｆn＝√(1/2)・ｆn
で与えられ，fmax及びfminはfoを基準として，
a≡（fmax  fo）/fn
b≡(fmin  fo)/fn
として、パラメータ（a,b）を定義する。  ここで，fnはナイキスト周波数を示す。(a,b)を変えてクラスターサイズの異なるドットパターンを得ることができる。
【００４０】
一例として，R=32で，(a,b)=(-1/16,-5/16) ，楕円率1.5の時のドットプロファイルを求める。透かし埋め込みのためには埋め込みビット(0,1)に対応した2種類のパターンが必要である。そのためp0は縦長の楕円、q0は横長の楕円パターンとなるようにする。ドットパターンp0とスペクトル特性を図３(a)に示す。楕円率1.５とは，フィルタD(fx,fy)がy軸方向に1.3倍に拡大されていることを意味する。スペクトル分布がx軸，y軸に対して対象であるため，虚数部は0となる。。図(b)はドットパターンq0を示す。これは個別に生成するが、後述の鍵のメモリ容量を小さくするためにはp0を90°回転したもので代用される。スペクトルも同様に90°回転したものとなる。同図(c)および(d)は、R=64の場合のp0,q0を示す。スペクトル形状がより明確になる。
【００４１】
続いて、画像データへの透かし埋め込みアルゴリズムについて説明する。透かし情報の埋め込みは、カラー画像データをY,Cb,Crに変換し，輝度Yに透かし情報を埋め込む。Blue（印刷時はイエロー）に埋め込むのがもっとも視覚的には認識されにくく理想的であるが、印刷画像やモニター画像をカメラやスキャナーで読み取った画像から精度よく色分離することが難しいためである。
【００４２】
続いて、画像データをR画素×R画素のブロックに分割する。これはドットパターンのサイズと同じサイズにする必要がある。ブロックサイズとしては通常、64画素×64画素を用いるが、多くの情報を埋め込みたい場合は32画素×32画素をブロックサイズとすると、4倍の情報の埋め込みが可能である。
【００４３】
透かし情報の埋め込みは実空間でブロック単位に行う。今、画像データをi(x,y)，埋め込み強度をgain、透かしの埋め込まれた画像をw(x,y)とすると、
埋め込みビット=０の時:   w(x,y)=i(x,y)+gain・p0(x,y)  (１)  
埋め込みビット=1の時:    w(x,y)=i(x,y)+gain・q0(x,y)  (２)  
となる．透かし情報は，あらかじめ文字列をビット列に変換しておき、ブロック単位で順次透かし情報を埋め込む。ここで、p0およびq0は（1,0）の二値であるが，平均輝度を保存するため（1/2,-1/2）とする。
【００４４】
p0およびq0はランダムドットであるため，両者の境界は目立たない。グリーンノイズ特性を示すドットパターンは、印刷におけるFMスクリーンとしても用いられ、分散性ドットで均一性にすぐれているため視覚的にも一様で粒状性も感じさせない。
【００４５】
このp0,q0だけで画像データに埋め込んだ場合、第三者がパターンを解析することにより、埋め込みパターンを再現される危険性がある。p0,q0のパターンが繰り返し埋め込まれるため、それらを細かく観察することにより元のパターンを推定することができる。特に一様な背景、例えば空や海など、がある画像ではドットパターンが識別しやすく、各ブロックから得られた情報をもとに推定パターンを得ることが可能である。
【００４６】
このため、本発明では多数の埋め込みパターンを用いることにより、容易に推定できないようにする。図4は一つのグリーンノイズドットパターンp0,q0から反転ドットパターンを生成することにより、それぞれ8種類のパターンに増殖させたものである。
P0,q0を基本ドットパターンとすると、p0,q0から以下の反転ドットパターンを以下のように生成する。
p1,q1：上下反転ドットパターン、
p2,q2：左右反転ドットパターン、
p3,q3：上下および左右反転ドットパターン、
p4,q4：p0,q0のネガ・ポジ反転ドットパターン、  
p5,q5：p1,q1のネガ・ポジ反転ドットパターン、
p6,q6：p2,q2のネガ・ポジ反転ドットパターン、
p7,q7：p3,q3のネガ・ポジ反転ドットパターン、
図４に32×32の場合の反転ドットパターン、pi, qi (i=0,1,…,7)を示す。このドットパターンのすべて、あるいはその一部を用いて画像に透かし情報を埋め込む。
【００４７】
透かし情報の埋め込みは、選択リストLにより埋め込みドットパターンの順序が決められる。選択リストLは、例えば、用いるドットパターン番号のどれを用いるかを選択するリストで、埋め込む前に乱数により決定する。今、すべてのpi,qi  (i=0,1,2,…,7)を用いるとすると、0から7までのランダムな数字を乱数発生器によりブロック数だけ発生する。例えば以下の選択リストL を得る。
L={0,7,5,2,4,7,1,5,6,1,6,4,2,7,6,0,3,1,6,0,3,2,7,5,…}（３）
かかる選択リストを用いて、ブロック順に使用されるドットパターンの番号iが決定される。すなわちブロック番号をｎとすると、
i=L(n)
となり、pi,qiが決定する。例えば、i=0であればp0,q0、i=7であればp7,q7というように決定する。このpi,qiを用いて、埋め込みはブロックごとに、
埋め込みビット=０の時:   w(x,y)=i(x,y)+gain・pi(x,y)  (１’)  
埋め込みビット=1の時:    w(x,y)=i(x,y)+gain・qi(x,y)  (２’)  
となる。
【００４８】
埋め込みは、ブロック単位で行われるため、画像サイズは任意のサイズが可能である。画像への埋め込み可能なデータ量（最大ビット数）Nは，画像サイズをW画素×H画素の画像データに対して，
N=int(W/R)×int(H/R)（4）
で与えられる。ここで，int()は少数以下切り捨てを表す。埋め込み可能文字数は，ASCII文字の場合は，int(N/8)文字となる。通常，著作権保護希望の対象画像はフルHDサイズ（1920画素×1080画素）以上の画像であり，フルHD画像では，N=480ビット=60バイトとなり，著作権情報の埋め込みとしては十分である。しかしながら，小さいサイズの画像で十分な情報量を必要とする場合には，R=32として埋め込めば，例えば，512画素×512画素の場合，N=256ビット=32バイトの情報量が埋め込み可能である。
【００４９】
埋め込み画像はgain を大きくすることにより，耐性を高めることができる。しかしながら，gainを大きくするとドットパターンが見えるようになる。図５はgainを変えて埋め込んだ場合の画像とその一部拡大画像を示す。同図(a)はgain=0.0625で埋め込んだもので，埋め込み情報は視覚的にほとんどわからない。しかしながら、透かしの抽出はエラーが出やすい。一方、同図(c)はgain=0.25で埋め込んだもので，透かしの抽出はほぼ100％であるが，ドット構造が目につくようになる。実験の結果，gainが0.125〜0.25であれば，グリーンノイズのドットパターンは、視覚特性によるローパス効果により目立たず、耐性もあり実用的であることが分かった。
【００５０】
図6は透かし埋め込み処理フローを示す。埋め込むドットパターンは既にあるものとする。まず，埋め込むための透かし情報ビット列wm(i,j)と選択リストL(n)を用意する（２０）。ここでiは埋め込む文字のi番目を,ｊはそのjビット目を表すが、あらかじめ1次元ビット列に変換しておく。続いて、画像データをR×Rのブロックに分割し（２１），ブロック単位でドットパターンを合成していく。まず最初のブロックｎ＝１から始める（２２）。次にブロック番号ｎより選択リストL(n)から選択ドットパターン番号iを得て、埋め込みドットパターンpi,qiを決定する（２３）。埋め込みは埋め込みビットが０か１かを判断し（２４）、１の場合はqiを埋め込み（２５）、０の場合はpiを埋め込む（２６）。続いてブロックが終了したかどうかを判断して（２７）、終了していなければブロック番号を１加算（２８）して、（２３）に戻る。全ブロックに埋め込みが終わった段階で終了する。
【００５１】
埋め込んだ透かし情報が，埋め込みのgainが小さいために抽出できない場合がある。原画像の該当するブロックの空間周波数が高いとそのようなことが生じる。図7はgainの自動調整を行うフローを示したもので，まず，gain=g として透かし情報wm(i,j)を画像の全ブロックに埋め込む（３０）。全ブロックを埋め込んだら，次に透かし読み取りを行う（３２）。ここでは，抽出した透かし情報wm’(i,j)と，埋め込む前の透かし情報 wm(i,j)を比較し一致するか否かを判定する。それと同時に，後述の抽出ビットの信頼度wmrel’(i,j)が，ある一定の閾値以上か判定する（３３）。透かし情報が一致しない場合や，一致していても信頼度が閾値以下の場合は，gainに一定値Δgを足して（３４），再び透かしの埋め込みを行う。信頼度の定量化が可能となったため，以上のようにして最適な透かし強度での埋め込みを自動で行うことができる。なお，透かし情報が一致しても信頼度が閾値以下の場合は，読めない場合があるため，余裕を持たせるためである。
【００５２】
次に透かしの抽出について説明する。
透かし情報の抽出は，読み取った画像の大きさ，傾きを補正後，ブロック単位でスペクトル画像を求める。式(2)をフーリエ変換して，
F{w(x,y)}=F{i(x,y)} + gain・F{pi(x,y) or qi (x,y)}（５）
となる。ただし，F{ }はフーリエ変換を表す。通常，F{i(x,y)}は原画像のスペクトルで，0周波数付近に局在し，F{pi(x,y) or qi(x,y)}はそれを取り巻くリング状のスペクトルとなる。このため，両者の重なりは少なく、両者を分離することは容易である。
【００５３】
図8に透かし抽出の処理フローを示す。まず入力画像をR×Rのブロックに分割し（４１），最初のブロックにFFTを行う（４２）。続いて得られたスペクトル画像にヒストグラムイコライゼーションを施す（４３）。これはスペクトルパターンのコントラストを向上させると同時に，後述の信頼度の定量化での規格化を図るためである。続いて後述のマスク処理を行い（４４），透かし情報wm’(i,j) および信頼度wmrel’(i,j)を得る。すべてのブロックが終了したか否かを判断し（４６），終了しなければ次のブロックへ行き，再び同様の処理を行う。
【００５４】
図９はフーリエ変換後のスペクトル分布からパターン認識により透かし情報の抽出を行う識別機としてのマスクパターンを示す。縦長および横長の楕円リング形状のマスクで、埋め込み用のドットパターンのスペクトル特性に対応したものである。図中黒の領域は値が１，白部分は値が0であるとする。透かしの入ったスペクトルにこのマスクを重ね、重なり部分の積分輝度値の差分から、ビットが0か1かを判断する。すなわち，図１０において，ブロックのスペクトルパターンW(x,y)に対して，以下の積分輝度値の出力Q0 ，Q1  を得る（４０）。
Q0=（1/Z）ΣM0(x,y)・W(x,y)  
Q1=（1/Z）ΣM1(x,y)・W(x,y)（６）
かかる出力から，
Q0>Q1 の時,  抽出ビット＝wm’(x,y)=0 
Q1>Q0 の時,  抽出ビット＝wm’(x,y)=1 
となる（４１）。同時に，以下のように信頼度を得る（４２）。
wmrel’(i,j)＝｜Q0-Q1｜（７）
かかる信頼度はその値が大きいほど抽出ビットの信頼度が高い。
【００５５】
図１１に透かし情報の精度および信頼性の向上について説明する。画像のサイズにより式（４）から埋め込み最大ビット数Nが与えられる。今埋め込みたいビット数がｎで  ｎ＜N  であるとすると，重複してビット列を埋め込むことができる。図8の透かし情報の抽出では，ビット数にかかわらず（文字列の繰り返しを考慮せずに）Nまでの連続した透かし情報wm’ と信頼度ｗｍrel’ を得た。この連続した文字列から信頼度の高いものを選択してｎまでの透かし情報を求めていく。
【００５６】
まず，埋め込んだ文字列のｓ番目の文字番号（0<ｓ≦N），ｔをビット番号（0≦ｔ≦7）としたとき，文字数nを法としてその剰余ｋは，k＝ｓmod n  で表され（５０），(s,t)番目の信頼度wmrel’が  wmrel’(s,t)>wmrel(k,t)  の時，信頼度が高いため，
wm(k,t)=wm’(s,t)  
wmrel(k,t)=wmrel’(s,t)（８）
として（５２），透かし情報を置き換える。これを全ビット及び全ブロックで，sがNまで，すなわち埋め込みビット数Nが終了するまで行う。
【００５７】
このように信頼度が低い埋め込みブロックに対して，再分割して抽出することにより，信頼度の高い抽出が可能となる。4分割されたブロックはすべて同じスペクトル特性を表すため一つでも高信頼度が抽出されれば，そのブロック全体をその信頼度に格上げされる。このようにして印刷画像に対して，高い信頼度の透かし抽出が可能となる。
【００５８】
次に透かしの除去について説明する。
透かし情報は埋め込みパターンを知ることにより，除去し原画像を得ることができる。すなわち式（１‘）、(２’)より，
埋め込みビット=０の時:   i(x,y)= w(x,y)-gain・pi(x,y)  (９)  
埋め込みビット=1の時:    i(x,y)= w(x,y)-gain・qi(x,y)  (１０)  
となり，埋め込みパターンpi (x,y)，qi(x,y)およびgain, 埋め込み情報および選択リストを知ることにより現画像に戻すことができる。これらの情報は“秘密鍵”を受け取ることに行うことができる。完全に元の画像に戻すためには，埋め込み画像のオーバーフロー，アンダーフローを避けるため，あらかじめダイナミックレンジを制限しておく必要がある。
【００５９】
図１２は図４のドットパターンを用いて256画素×256画素の画像に8文字“20181118”を埋め込んだものである。（a）は、gain=0.1875で埋め込んだ時の図を示し、（ｂ）は抽出のためのスペクトルを求めたもので、埋め込んだ透かし情報が正確に抽出できた。（ｃ）は、(a)の埋め込まれた画像から鍵により透かしを除去した画像で、原画像が再現された。
【００６０】
かかる秘密鍵に含まれるドットパターンは基本ドットパターンp0,q0のみでよく、反転ドットパターンはこの基本ドットパターンより生成できる。したがって、鍵のサイズは，R=64の場合はp0,q0 ともに4096ビット（512バイト）,それに埋め込み情報、選択リストを加えたものが全容量となるが、埋め込み情報、選択リストは文字数に比例するが、概略、数十バイトから百バイト程度で，ドットパターンの容量がほぼ鍵の容量となる。
【００６１】
もし、q0の基本ドットパターンをp0の基本ドットパターンを９０°回転したパターンで用いる場合は、鍵としては、基本ドットパターンp0，およびgain, 埋め込み情報および選択リストとなり、鍵の容量はさらに小さくなる。
【００６２】
次に本手法の攻撃耐性について説明する。電子透かしに対する攻撃としては，例えば信号の強調（シャープネス調整），ノイズの付加，フィルタリング（線形，非線形），非可逆圧縮（JPEG，MPEG），変形（回転，拡大縮小）などがある．これらの攻撃は輝度情報への攻撃であり，本手法の様に分散ドットの集合による埋め込みは，解像度方向への攻撃（例えば，強いローパスフィルタなど）がない限りは保持でき，一般に強靭であるといえる。gainを大きくすることにより，さらに耐性を高めることができる。
【００６３】
次に，第三者が、不正に埋め込みパターンを検出し除去する可能性について説明する。埋め込みパターンの特定は、一般に透かしの埋め込まれていない原画像や，複数の埋め込み画像から，透かしパターンを特定することが想定される。基本ドットパターンのみであれば、これらが繰り返し使われるため何度も同じパターンが繰り返されるため、各ブロックから得られた部分パターンをつなぎ合わせることにより元のブロックサイズのドットパターンを推定することができる。
【００６４】
これを回避するためには基本ドットパターンを数多く持つことが考えられる。複数のドットパターンを使うことによりパターンの特定が困難となるからである。しかしながら、鍵の容量が増大し取り扱いが困難となる。したがって、基本ドットパターンから反転パターンを生成することにより、パターン数を増やすことができ、かつ、鍵サイズの増大を防ぐことができる。
【００６５】
鍵の紛失や盗難に対しては、画像ごとに異なる基本ドットパターンを用いることにより、同じ鍵で別の画像の透かしを除去することはできない。図１３は同じスペクトル特性を持つ、異なるドットパターンを示す。これらは、グリーンノイズパターン生成時の、初期乱数のseed値を変えることによって得られる。スペクトル分布は同一であり，抽出ソフトウェアは共通であるが，ドットプロファイルは異なる．R=64の場合，異なるパターン数は，(_4096^)C_2048  個だけ可能であり，同じパターンとなる確率は極めて低いため，安全性は高い。
著作権者は購入者に対してそれぞれ異なる乱数から求めたドットパターンを秘密鍵として提供する。購入者ごとにこの鍵は異なるため、他の購入者の画像から透かしを除去することはできない。
本発明は以上のようにして、第三者からの攻撃を排除した、耐性の強い電子透かしを提供するものである。
【００６６】
次に、基本ドットパターン数を増やし、より攻撃耐性の強い電子透かしを得る方法を示す。図１４は基本ドットパターンとして、2つの基本ドットパターン（パターン1およびパターン２）を用いたものである。
下記に示すように、パターン1から7つの反転パターンを含めた8つのパターンp0〜p7をえる。パターン2からも同様に8つのパターンp8〜p15を得る。
p0, p8：基本ドットパターン
p1, p9：上下反転ドットパターン、
p2, p10：左右反転ドットパターン、
p3, p11：上下および左右反転ドットパターン、
p4, p12：p0, p8つのパターンのネガ・ポジ反転ドットパターン、  
p5, p13：p1, p9のネガ・ポジ反転ドットパターン、
p6, p14：p2, p10のネガ・ポジ反転ドットパターン、
p7, p15：p3, p11のネガ・ポジ反転ドットパターン、
p0,p8を90°回転したスペクトルを持つq0,q8からも、同様に反転ドットパターンを生成する。
【００６７】
すべてのパターンを使用する場合、選択リストLはp0〜p15、q0〜q15の各々16個のパター―からどれを用いるかを選択するするため、乱数発生器により０から15までの数字を全ブロック数分だけ発生させる。例えば以下の選択リストL を得る。
L={4,10,5,12,9,7,14,15,6,11,6,4,2,7,6,8,13,1,6,0,3,12,7,…}（３）
かかる選択リストを用いて、ブロック順に使用されるドットパターンの番号iが決定される。すなわちブロック番号をｎとすると、
i=L(n)
となり、pi,qiが決定する。例えば、i=4であればp4,q4、i=10であればp10,q10というように決定する。このpi,qiを用いて、埋め込みはブロックごとに、
埋め込みビット=０の時:   w(x,y)=i(x,y)+gain・pi(x,y)  (１’)  
埋め込みビット=1の時:    w(x,y)=i(x,y)+gain・qi(x,y)  (２’)  
となる。
【００６８】
以上は、基本ドットパターンp0,q0が2個ずつの場合を説明したが、これをさらに多くして、それぞれがk個のパターンで構成されたとする。反転パターンは各基本ドットパターンにつき最大７個生成されるため、基本ドットパターンと反転ドットパターン合計で最大8×k個あり、それら全部あるいは一部を用いて埋め込み用のドットパターンとする。
選択リストは、それらのドットパターンの選択順を示したものである。
【００６９】
透かしの抽出は実施例1の場合と同様に、まず透かしの埋め込まれた画像をR×Rのブロックに分割しブロックごとにFFTを行い、マスク処理を行って、透かし情報及び信頼度を求める。ドットパターン数を増やして埋め込んでも、抽出ソフトウェアは変更不要である。
【００７０】
ドットパターン数の増大は、第三者からの攻撃を回避するのに有効である。しかしながら、鍵のサイズが増大し取り扱いが難しくなる。本発明は、鍵の容量を下げるため、基本ドットパターンから反転パターンを生成し、基本ドットパタン情報のみ鍵情報とする。このためコンパクトな鍵のため、配信や保管などの取り扱いが容易になる。
【００７１】
さらに、90°回転したスペクトル形状を持つ基本ドットパターンq0をp0のドットパターンから生成することにより、鍵サイズはさらに小さくなる。ただし、基本ドットパターン数を少なくすることは攻撃されやすくなるため、耐性のレベルに応じて最適な手法を選ぶことが必要である。  
【産業上の利用可能性】
【００７２】
以上、本発明の電子透かし法について説明したが、本手法はグリーンノイズ特性を示すドットパターンを埋め込むため，視覚的な違和感が少なく，強く埋め込むことが可能であり、画像の編集や加工および第三者からの攻撃に対して強い耐性がある。また，鍵情報により原画像に復元することも可能であるなどの特徴があるため、単に著作権保護のみならず、印刷画像と電子データとのリンクによるさまざまなアプリケーションに有効である。
【００７３】
また、本透かしの埋め込みは，ブロック単位で実空間にて埋め込むため、大きなサイズの画像など画像サイズに制限がなく、ディザ法並みに高速に処理可能である。このため動画像のリアルタイム埋め込みも可能で、監視カメラやドライブレコーダなどへの展開も期待できる。
【００７４】
本透かし埋め込み及び抽出手法は、アルゴリズムを公開しても問題ない。機密性はすべてドットパターンに集約され、これは秘密鍵として納められる。仮に、鍵の紛失や盗難にあっても、画像ごとに異なるドットパターンを用いれば、鍵は原則、１枚の画像に対して１つであるため、他の画像にその鍵を使って透かしを除去することはできない。このため、安全性は極めて高く、アルゴリズムの公開、標準化、抽出ソフトウェアの公開などは問題とならない。
【符号の説明】
【００７５】
1はスキャナー、2はプリンタ、3はコンピュータシステム、4はROM, 5はRAM,6はプログラムメモリ、７はデータメモリ、８はモニター、9はキーボード、10は通信機能、11はCPU、１２はインターネット、  １３は画像データの配信、１４は購入希望の連絡、１５は秘密鍵の送付、１６は著作権者のコンピュータ、１７は購入者のコンピュータを表す。
【図１】
2020088469.tif 000003
【図２】
2020088469.tif 000004
【図３】
2020088469.tif 000005
【図４】
2020088469.tif 000006
【図５】
2020088469.tif 000007
【図６】
2020088469.tif 000008
【図７】
2020088469.tif 000009
【図８】
2020088469.tif 000010
【図９】
2020088469.tif 000011
【図１０】
2020088469.tif 000012
【図１１】
2020088469.tif 000013
【図１２】
2020088469.tif 000014
【図１３】
2020088469.tif 000015
【図１４】
2020088469.tif 000016