(57)【要約】【課題】高い精度で原画像に埋め込まれた電子透かしを検出することを可能とするための、電子透かしを原画像から分離する方法を提供する。【解決手段】原画像と電子透かしとが含まれる画像の空間領域にある各注目画素のレベルと、前記注目画素の周辺にある周辺画素のレベルを基に所定のアルゴリズムに従って求めたレベルと、の差分を算出する差分算出ステップを備える。【選択図】図７
2010103674.tif 000002
【特許請求の範囲】
【請求項１】
原画像と電子透かしとが含まれる画像の空間領域にある各注目画素のレベルと、前記注目画素の周辺にある周辺画素のレベルを基に所定のアルゴリズムに従って求めたレベルと、の差分を算出する差分算出ステップ
を備えることを特徴とする電子透かしを原画像から分離する方法。
【請求項２】
前記電子透かしは、周波数領域において、所定の周波数成分に埋め込まれてから、逆フーリエ変換され、その後、前記空間領域において、原画像に加算又は減算されたものであることを特徴とする
請求項１に記載の電子透かしを原画像から分離する方法。
【請求項３】
前記差分に所定の直流レベルを加算する加算ステップを更に備えることを特徴とする
請求項１又は２に記載の電子透かしを原画像から分離する方法。
【請求項４】
前記所定のアルゴリズムは、周辺画素の平均レベルを求めるアルゴリズムであることを特徴とする
請求項１乃至３の何れか１項に記載の電子透かしを原画像から分離する方法。
【請求項５】
前記アルゴリズムは、周辺画素の加重平均レベルを求めるアルゴリズムであることを特徴とする
請求項１乃至３の何れか１項に記載の電子透かしを原画像から分離する方法。
【請求項６】
前記加重平均レベルを求めるアルゴリズムでは、各注目画素から見て所定の範囲にある周辺画素の単純平均レベルに、前記注目画素から見て前記所定の範囲にある周辺画素のうちの所定の条件を満たす周辺画素のレベルと前記注目画素のレベルとの差分に所定の係数を乗じて得たレベルを加算することにより前記加重平均レベルを求めることを特徴とする
請求項５に記載の電子透かしを原画像から分離する方法。
【請求項７】
前記電子透かしは、所定の第１原色に埋め込まれており、
各注目画素及び前記注目画素から見て前記所定の範囲にある各周辺画素について、所定の係数を用いて、電子透かしが埋め込まれていない第２原色のレベル及び第３原色のレベルの線形結合を求めるステップと、
各注目画素について、前記注目画素から見て前記所定の範囲に亘る前記線形結合の平均値及び標準偏差を求めるステップと、
各注目画素について、前記注目画素から見て前記所定の範囲に亘る前記線形結合の前記標準偏差が所定の閾値未満であるか否かについて第１の判断をするステップと、
前記第１の判断の結果が肯定的であった注目画素の前記線形結合が、前記注目画素から見て前記所定の範囲に亘る前記線形結合の平均値から前記注目画素から見て前記所定の範囲に亘る前記線形結合の標準偏差を減じて得た値よりも大きく、且つ、前記第１の判断の結果が肯定的であった前記注目画素の前記線形結合が、前記注目画素から見て前記所定の範囲に亘る前記線形結合の平均値に前記注目画素から見て前記所定の範囲に亘る前記線形結合の標準偏差を足して得た値よりも小さいか否かについて第２の判断をするステップと、
前記第２の判断の結果が肯定的であった注目画素から見た各周辺画素について、前記周辺画素の前記線形結合から前記注目画素の前記線形結合を減じて得た値と、前記周辺画素の前記第１原色のレベルから前記注目画素の前記第１原色のレベルを減じて得た値との積の符号が正であるか否かについて第３の判断をするステップと、
を備え、前記第１乃至３の判断の結果が全て肯定的である周辺画素を、前記所定の条件を満たす周辺画素とすることを特徴とする
請求項６に記載の電子透かしを原画像から分離する方法。
【請求項８】
原画像と電子透かしとが含まれる画像の空間領域にある各注目画素のレベルと、前記注目画素の周辺にある周辺画素のレベルを基に所定のアルゴリズムに従って求めたレベルと、の差分を算出する差分算出手段
を備えることを特徴とする電子透かしを原画像から分離する装置。
【請求項９】
前記電子透かしは、周波数領域において、所定の周波数成分に埋め込まれてから、逆フーリエ変換され、その後、前記空間領域において、原画像に加算又は減算されたものであることを特徴とする
請求項８に記載の電子透かしを原画像から分離する装置。
【請求項１０】
前記差分に所定の直流レベルを加算する加算手段を更に備えることを特徴とする
請求項８又は９に記載の電子透かしを原画像から分離する装置。
【請求項１１】
前記所定のアルゴリズムは、周辺画素の平均レベルを求めるアルゴリズムであることを特徴とする
請求項８乃至１０の何れか１項に記載の電子透かしを原画像から分離する装置。
【請求項１２】
前記所定のアルゴリズムは、周辺画素の加重平均レベルを求めるアルゴリズムであることを特徴とする
請求項８乃至１０の何れか１項に記載の電子透かしを原画像から分離する装置。
【請求項１３】
前記加重平均を求めるアルゴリズムでは、各注目画素から見て所定の範囲にある周辺画素の単純平均レベルに、前記注目画素から見て前記所定の範囲にある周辺画素のうちの所定の条件を満たす周辺画素のレベルと前記注目画素のレベルとの差分に所定の係数を乗じて得たレベルを加算することにより前記加重平均レベルを求めることを特徴とする
請求項１２に記載の電子透かしを原画像から分離する装置。
【請求項１４】
前記電子透かしは、所定の第１原色に埋め込まれており、
各注目画素から見て前記所定の範囲にある各周辺画素について、所定の係数を用いて、電子透かしが埋め込まれていない第２原色のレベル及び第３原色のレベルの線形結合を求める手段と、
各注目画素について、前記注目画素から見て前記所定の範囲に亘る前記線形結合の平均値及び標準偏差を求める手段と、
各注目画素について、前記注目画素から見て前記所定の範囲に亘る前記線形結合の前記標準偏差が所定の閾値未満であるか否かについて第１の判断をする手段と、
前記第１の判断の結果が肯定的であった注目画素の前記線形結合が、前記注目画素から見て前記所定の範囲に亘る前記線形結合の平均値から前記注目画素から見て前記所定の範囲に亘る前記線形結合の標準偏差を減じて得た値よりも大きく、且つ、前記第１の判断の結果が肯定的であった前記注目画素の前記線形結合が、前記注目画素から見て前記所定の範囲に亘る前記線形結合の平均値に前記注目画素から見て前記所定の範囲に亘る前記線形結合の標準偏差を足して得た値よりも小さいか否かについて第２の判断をする手段と、
前記第２の判断の結果が肯定的であった注目画素から見た各周辺画素について、前記周辺画素の前記線形結合から前記注目画素の前記線形結合を減じて得た値と、前記周辺画素の前記第１原色のレベルから前記注目画素の前記第１原色のレベルを減じて得た値との積の符号が正であるか否かについて第３の判断をする手段と、
を備え、前記第１乃至３の判断の結果が全て肯定的である周辺画素を、前記所定の条件を満たす周辺画素とすることを特徴とする
請求項１３に記載の電子透かしを原画像から分離する装置。
【請求項１５】
請求項１乃至７の何れか１項に記載の電子透かしを原画像から分離する方法をコンピュータに実行させるための電子透かしを原画像から分離するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像と電子透かしとが含まれる画像を入力し、電子透かしを原画像から分離するための方法、その装置及びそのプログラムに関する。
【背景技術】
【０００２】
本願出願人は、画像に電子透かしを挿入するための電子透かし挿入方法として、周波数領域において、画像の拡大縮小率を検出するための第１の所定数の非ゼロ周波数成分を、第１の円周の上の所定の位置に生成するステップと、周波数領域において、画像の回転角を検出するための非ゼロ周波数成分であって、第１の所定数とは異なる第２の所定数の非ゼロを、第１の円周とは異なる第２の円周であって、半径が第１の円周の半径と所定の比例関係にある第２の円周の上の、画像の拡大縮小率を検出するための第１の所定数の非ゼロ周波数成分の位置に対して相対的に決められた位置に生成するステップと、周波数領域において、第１の円周及び第２の円周とは異なる第３の円周であって、半径が第１の円周の半径及び第２の円周の半径と所定の比例関係にある第３の円周の上にあり、画像の回転角を検出するための非ゼロ周波数成分に対して相対的に決められる第３の所定数の候補位置のうち、第３の所定数より少なく第１の所定数と異なる第４の所定数分だけ、挿入すべき電子透かしデータの値に応じた位置に非ゼロ周波数成分を生成するステップと、生成された非ゼロ周波数成分を合わせて周波数領域から空間領域に変換するステップと、原画像の一部又は全てのブロックに変換により得た画像を加算又は減算するステップと、を備えることを特徴とする電子透かし挿入方法を発明している。
【０００３】
また、本願出願人は、画像に挿入されている電子透かしを検出するための電子透かし検出方法として、画像を複数のブロックに分割するステップと、各ブロックのデータを空間領域から周波数領域に変換することにより、又はその変換をしてから、各ブロックの各周波数成分の振幅を得るステップと、各周波数成分の振幅をブロック間で加算することにより、各周波数毎の総和振幅を得るステップと、周波数領域において、総和振幅のうち、画像の拡大縮小率を検出するための第１の所定数の非ゼロ周波数成分であって第１の円周の上の位置する非ゼロ周波数成分に対応した総和振幅を検出することにより、画像の拡大縮小率を検出するステップと、周波数領域において、総和振幅のうち、画像の回転角を検出するための、第１の所定数とは異なる第２の所定数の非ゼロ周波数成分であって、半径が第１の円周の半径と所定の比例関係にある第２の円周上にあり、第１の所定数の非ゼロ周波数成分の位置に対して相対的に決められた位置にある非ゼロ周波数成分に対応した総和振幅を検出することにより、画像の回転角を検出するステップと、周波数領域において、検出された拡大縮小率及び回転角に基づいて位置が補正された総和振幅から、第３の所定数の候補位置が第１の円周及び第２の円周とは異なる第３の円周であって、半径が第１の円周の半径及び第２の円周の半径と所定の比例関係にある第３の円周の上にあり、画像の回転角を検出するための非ゼロ周波数成分に対して相対的に決められるという関係を利用して、第３の候補位置を検出し、第３の所定数の候補位置にある総和振幅のうち、これらの間で相対的に大きな値を示す第３の所定数より少なく第１の所定数と異なる第４の所定数の総和振幅の位置の組み合わせを基に、挿入されているデータを検出するステップと、を備えることを特徴とする電子透かし検出方法を発明している（例えば、特許文献１参照。）。
【特許文献１】特開２００４−１５３９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の電子透かし検出方法では、原画像に電子透かしを重畳することにより得られた画像を、そのまま、フーリエ変換していたので、フーリエ変換することにより得られた周波数成分には、原画像の周波数成分も含まれていた。そして、この原画像の周波数成分が妨害となって、原画像に埋め込む前の電子透かしを高い精度で検出することができなかった。
【０００５】
また、電子透かし検出方法をカメラで撮影した画像に適用しようとした場合、カメラがオートホワイトバランス処理を行うため、このオートホワイトバランス処理の影響により、電子透かしの検出精度が下がる場合があった。これは、電子透かしを挿入したことによりできた濃淡差がオートホワイトバランス処理により減ってしまうからである。
【０００６】
そこで、本発明は、高い精度で原画像に埋め込まれた電子透かしを検出することを可能とするための、電子透かしを原画像から分離する方法、その装置及びそのプログラムを提供することを目的とする。
【０００７】
特に、本発明は、オートホワイトバランス処理が施された画像からも、高い精度で原画像に埋め込まれた電子透かしを検出することを可能とするための、電子透かしを原画像から分離する方法、その装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明によれば、原画像と電子透かしとが含まれる画像の空間領域にある各注目画素のレベルと、前記注目画素の周辺にある周辺画素のレベルを基に所定のアルゴリズムに従って求めたレベルと、の差分を算出する差分算出ステップを備えることを特徴とする電子透かしを原画像から分離する方法が提供される。
【０００９】
また、本発明によれば、原画像と電子透かしとが含まれる画像の空間領域にある各注目画素のレベルと、前記注目画素の周辺にある周辺画素のレベルを基に所定のアルゴリズムに従って求めたレベルと、の差分を算出する差分算出手段を備えることを特徴とする電子透かしを原画像から分離する装置。
【００１０】
更に、本発明によれば、上記の電子透かしを原画像から分離する方法をコンピュータに実行させるための電子透かしを原画像から分離するプログラムが提供される。
【発明の効果】
【００１１】
本発明によれば、電子透かしの検出において、原画像による影響を可能な限り排除できる。また、本発明によれば、オートホワイトバランス処理による影響を可能な限り排除できる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００１３】
図１は、本発明の実施形態における電子透かしが挿入された画像の一部の画素を示す。
【００１４】
本実施形態では、電子透かしが挿入された画像の各画素に含まれる電子透かしを原画像から分離する。従って、各画素毎に電子透かしを分離することとなるが、その時々に分離の対象となっている個々の画素のことを注目画素ということにする。そして、注目画素から見て所定の範囲にある注目画素以外の画素のことを周辺画素ということにする。図１の例では、所定の範囲は注目画素を中心とした縦３画素×横３画素の範囲であり、従って、周辺画素の数は８個となるが、所定の範囲を注目画素を中心とした５画素×横５画素の範囲とし、これにより周辺画素の数が２４個となってもよい。図１において丸印が付けられているのが注目画素であり、三角印が付けられているのが周辺画素である。所定の範囲を縦７画素×横７画素とすると、電子透かしを原画像から分離することがかえって困難となるため、所定の範囲としては、注目画素を中心として、縦３画素×横３画素又は縦５画素×横５画素とするのが好適である。
【００１５】
次に、図２の式（１）に示すように、注目画素の青レベルをＢｉ，ｊと表すことにする。また、図２の式（２）に示すように、周辺画素の青レベルをＢｋ，ｌと表すことにする。なお、電子透かしは、ＲＧＢの三原色のうちのＢ（青）に挿入されている。但し、必ずしもＢ（青）に電子透かしを挿入する必要はなく、Ｒ（赤）又はＧ（緑）に電子透かしを挿入しても良い。
【００１６】
また、レベルとは、例えば、画像のＲＧＢそれぞれが２５６階調で表現されている場合、ＲＧＢそれぞれについての０〜２５５の範囲にある何れかの値のことをいう。
【００１７】
［実施形態１］
実施形態１では、図２の式（３）に示すように、注目画素を中心とした縦３画素×横３画素の範囲にある８つの周辺画素の青レベルの単純平均を周辺画素の平均レベルＢａｖｅ  ｉ，ｊとする。
【００１８】
注目画素の青レベルについての差分Ｄｉ，ｊは、図２の式（４）で算出される。
【００１９】
撮影範囲の全注目画素についての差分Ｄｉ，ｊをフーリエ変換することにより、周波数成分に埋め込まれた電子透かしを検出することが可能となる。
【００２０】
［実施形態２］
実施形態２では、様々な条件分けをして、周辺画素の単純平均Ｂａｖｅ  ｉ，ｊの代わりに周辺画素の加重平均レベルＷｉ，ｊを求める。その後、差分Ｄｉ，ｊを求め、フーリエ変換することは、実施形態１と同様である。ただし、差分Ｄｉ，ｊを求める際には、単純平均Ｂａｖｅ  ｉ，ｊの代わりに加重平均レベルＷｉ，ｊを用いる。
【００２１】
次に、周辺画素の加重平均レベルＷｉ，ｊを算出する方法について説明をする。
【００２２】
まず、注目画素の準輝度Ｉｉ，ｊを図３の式（５）に示すように定義する。準輝度は、原色であるＲ（赤）成分とＧ（緑）成分との線形結合であり、Ｂ（青）を含まない。なお、周辺画素の準輝度は添え字ｉ，ｊを他の添え字に置き換えることにより表す。
【００２３】
注目画素から見た周辺画素の準輝度の平均値Ｉａｖｅ  ｉ，ｊ及び標準偏差Ｉｓｄ  ｉ，ｊを、それぞれ、図３の式（６）、式（７）のように定義する。
【００２４】
加重平均Ｗｉ，ｊを図４の式（８）により定義する。式（８）をみると明らかなように、加重平均Ｗｉ，ｊは、単純平均に数値Ｓを加算することにより得られる。
【００２５】
数値Ｓを図４の式（９）により定義する。式（９）をみると明らかなように、Ｓｋ，ｌ（例えば、Ｓｉ−１，ｊ−１）は、
・標準偏差Ｉｓｄ  ｉ，ｊが所定の閾値ＴＨ未満であるという条件、
・注目画素の準輝度Ｉｉ，ｊがＩａｖｅ  ｉ，ｊ−Ｉｓｄ  ｉ，ｊよりも大きく、且つ、Ｉａｖｅ  ｉ，ｊ＋Ｉｓｄ  ｉ，ｊよりも小さいという条件、
・周辺画素の準輝度Ｉｋ，ｌから注目画素の準輝度Ｉｉ，ｊを減じて得た値と周辺画素の青レベルＢｋ，ｌから注目画素の青レベルＢｉ，ｊを減じて得た値との積がゼロよりも大きいという条件、
の全てが満たされた周辺画素について１となり、それ以外の周辺画素についてはゼロとなる。
【００２６】
式（９）に現れる係数αの値は特には定めないが、例えば、１としてもよい。
【００２７】
式（９）及び式（１０）をまとめると、加重平均Ｗｉ，ｊに加算される値は、図５に示すように場合分けされる。
【００２８】
図５を参照すると、場合（１）は、Ｂｋ，ｌ−Ｂｉ，ｊが電子透かしに起因して生じている可能性が高い場合である。
【００２９】
場合（２）は、Ｂｋ，ｌがカメラによるオートホワイトバランスの影響を受けている可能性がある場合である。
【００３０】
場合（３）は、Ｂｋ，ｌがカメラによるオートホワイトバランスの影響をあまり受けていないが、受けている可能性も否定できない場合である。
【００３１】
場合（４）は、Ｂｋ，ｌがカメラによるオートホワイトバランスの影響を受けているかもしれないが、意図的に埋め込んだ電子透かしの値を正しく抽出できる可能性がある場合である。
【００３２】
次に、上述した考え方に従って電子透かしを検出する方法について説明をする。
【００３３】
図６は、実施形態２による電子透かしを検出する方法を示すフローチャートである。
【００３４】
図６を参照すると、まず、カメラにより電子透かしが挿入されている画像を撮像する（ステップＳ１０１）。
【００３５】
次に、撮像した画像の全画素についてステップＳ１０３ＳとステップＳ１０３Ｅに挟まれた処理を繰り返す。
【００３６】
各繰り返しでは、電子透かしを原画像から分離する（ステップＳ１０５）。このステップの詳細については、後述する。
【００３７】
ステップＳ１０３ＳとステップＳ１０３Ｅに挟まれた処理の繰り返しが終了したならば、分離した電子透かしをフーリエ変換する（ステップＳ１０７）。
【００３８】
次に、電子透かしが埋め込まれている周波数成分を検出する（ステップＳ１０９）。
【００３９】
次に、検出された周波数成分から電子透かしデータを検出する（ステップＳ１１１）。
【００４０】
図７は、図６に示すステップＳ１０５の詳細を示すフローチャートである。
【００４１】
図７を参照すると、まず、注目画素の準輝度を算出する（ステップＳ１０５−１１）。
【００４２】
次に、周辺画素の準輝度を算出する（ステップＳ１０５−１３）。
【００４３】
次に、周辺画素の準輝度の単純平均値を算出する（ステップＳ１０５−１５）。
【００４４】
次に、周辺画素の準輝度の標準偏差を算出する（ステップＳ１０５−１７）。
【００４５】
次に、周辺画素の加重平均レベルを算出する（ステップＳ１０５−１９）。この詳細については後述する。
【００４６】
次に、注目画素のレベルと周辺画素の加重平均レベルとの差分を算出する（ステップＳ１０５−２１）。
【００４７】
次に、ステップＳ１０５−２１で算出した差分にオフセットレベルを加算する（ステップＳ１０５−２３）。オフセットレベルは、例えば、ＲＧＢがそれぞれ２５６階調で表されるならば、１２８としてもよい。
【００４８】
図８は、図７に示すステップＳ１０５−１９の詳細を示すフローチャートである。
【００４９】
図８を参照すると、まず、加重平均レベルをゼロに初期化する（ステップＳ１０５−１９−１）。
【００５０】
次に、加重平均レベルに無加重平均レベル（通常の平均レベル）を加算する。
【００５１】
次に、周辺画素の準輝度の標準偏差は所定の閾値未満であるか否かを判断する（ステップＳ１０５−１９−５）。
【００５２】
周辺画素の準輝度の標準偏差は所定の閾値以上である場合には（ステップＳ１０５−１９−５でＮＯ）、処理を終了する。
【００５３】
周辺画素の準輝度の標準偏差は所定の閾値未満である場合には（ステップＳ１０５−１９−５でＹＥＳ）、各周辺画素についてステップＳ１０５−１９−７ＳとステップＳ１０５−１９−７Ｅで挟まれる処理を繰り返す。
【００５４】
各繰り返しでは、まず、注目画素の準輝度のレベルは、周辺画素の準輝度の平均値から周辺画素の標準偏差を減じて得た値よりも大きく、且つ、周辺画素の準輝度の平均値に周辺画素の標準偏差を足して得た値よりも小さいか否かを判断する（ステップＳ１０５−１９−９）。
【００５５】
ステップＳ１０５−１９−９での判断結果が否定的である場合には、現在の周辺画素についての処理を終了する。
【００５６】
ステップＳ１０５−１９−９での判断結果が肯定的である場合には、周辺画素の準輝度レベルから注目画素の準輝度レベルを減じて得た値と、周辺画素の青レベルから注目画素の青レベルを減じて得た値との積はプラスであるか否かを判断する（ステップＳ１０５−１９−１１）。
【００５７】
ステップＳ１０５−１９−１１での判断結果が否定的である場合には、加重平均レベルに、周辺画素の青レベルから注目画素の青レベルを減じて得た値に所定の係数を乗じて得た値を加算する。
【００５８】
なお、上述した方法は、ハードウェアのみによっても行うことができるが、コンピュータに上述した方法の各ステップを実行させるためのプログラムをコンピュータが読み込んで実行することによっても行うことができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態における電子透かしが挿入された画像の一部の画素を示す図である。
【図２】本発明の実施形態２による注目画素の青レベル、周辺画素の青レベル、周辺画素の青の平均レベル及び注目画素の青レベルについての差分を示す式を記載した図である。
【図３】本発明の実施形態２による注目画素の準輝度、周辺画素の準輝度の平均値及び周辺画素の準輝度の標準偏差を示す式を記載した図である。
【図４】本発明の実施形態２による加重平均レベルを示す式を記載した図である。
【図５】本発明の実施形態２による周辺画素の各場合毎の加重平均への加算値を示す図である。
【図６】実施形態２による電子透かしを検出する方法を示すフローチャートである。
【図７】図６に示す電子透かしを原画像から分離するステップの詳細を示すフローチャートである。
【図８】図７に示す周辺画素の加重平均レベルを算出するステップの詳細を示すフローチャートである。
【図１】
2010103674.tif 000003
【図２】
2010103674.tif 000004
【図３】
2010103674.tif 000005
【図４】
2010103674.tif 000006
【図５】
2010103674.tif 000007
【図６】
2010103674.tif 000008
【図７】
2010103674.tif 000009
【図８】
2010103674.tif 000010