(57)【特許請求の範囲】
【請求項１】
可視状態の主画像情報に対して不可視状態で副情報を埋め込むことによって合成画像情報を作成する第１の画像処理方法、および、この第１の画像処理方法により作成された合成画像情報を取得して、その取得した合成画像情報から前記副情報を復元する第２の画像処理方法から構成される画像処理方法において、
前記第１の画像処理方法は、
副情報を復元する際に用いる鍵情報および当該副情報を基に埋め込み情報を作成する埋め込み情報作成ステップと、
主画像情報に対して前記埋め込み情報作成ステップにより作成された埋め込み情報を不可視状態で埋め込んで合成画像情報を作成する合成画像作成ステップとを具備し、
前記第２の画像処理方法は、
前記第１の画像処理方法により作成された合成画像情報を取込む画像情報取込ステップと、
この画像情報取込ステップにより取込まれた合成画像情報を複数の色成分に色分解する色分解ステップと、
この色分解ステップにより色分解された複数の色成分の画像情報を用いて前記副情報の各色成分単位での周波数成分を抽出する複数の周波数成分抽出ステップと、
この複数の周波数成分抽出ステップにより抽出された複数の周波数成分をそれぞれ平滑化処理する複数の平滑化処理ステップと、
この複数の平滑化処理ステップの各処理結果から１つの処理結果を選択する選択処理ステップと、
この選択処理ステップにより選択された処理結果を正規化処理する正規化処理ステップと、
この正規化処理ステップの処理結果を出力する出力処理ステップとを具備したことを特徴とする画像処理方法。
【請求項２】
可視状態の主画像情報に対して不可視状態で副情報を埋め込むことによって合成画像情報を作成する第１の画像処理方法、および、この第１の画像処理方法により作成された合成画像情報を取得して、その取得した合成画像情報から前記副情報を復元する第２の画像処理方法から構成される画像処理方法において、
前記第１の画像処理方法は、
主画像情報に対して副情報の復元時に影響を与える周波数成分を除去または低減する主画像周波数処理ステップと、
副情報を復元する際に用いる鍵情報および当該副情報を基に埋め込み情報を作成する埋め込み情報作成ステップと、
前記主画像周波数処理ステップにより処理された主画像情報に対して前記埋め込み情報作成ステップにより作成された埋め込み情報を不可視状態で埋め込んで合成画像情報を作成する合成画像作成ステップとを具備し、
前記第２の画像処理方法は、
前記第１の画像処理方法により作成された合成画像情報を取込む画像情報取込ステップと、
この画像情報取込ステップにより取込まれた合成画像情報を複数の色成分に色分解する色分解ステップと、
この色分解ステップにより色分解された複数の色成分の画像情報を用いて前記副情報の各色成分単位での周波数成分を抽出する複数の周波数成分抽出ステップと、
この複数の周波数成分抽出ステップにより抽出された複数の周波数成分をそれぞれ平滑化処理する複数の平滑化処理ステップと、
この複数の平滑化処理ステップの各処理結果から１つの処理結果を選択する選択処理ステップと、
この選択処理ステップにより選択された処理結果を正規化処理する正規化処理ステップと、
この正規化処理ステップの処理結果を出力する出力処理ステップとを具備したことを特徴とする画像処理方法。
【請求項３】
前記埋め込み情報作成ステップは、副情報を復元する際に用いる複数の鍵情報および副情報およびあらかじめ与えられた色差量を基に所定の鍵情報に色差変調処理を行なうことにより埋め込み情報を作成し、
前記合成画像作成ステップは、主画像情報に対して前記埋め込み情報作成ステップにより作成された埋め込み情報を重畳処理することにより合成画像情報を作成することを特徴とする請求項１または請求項２記載の画像処理方法。
【請求項４】
前記合成画像作成ステップにおいて主画像情報に対して埋め込まれる埋め込み情報は、所定の領域内において複数の色成分に色分解したときに、それぞれの絶対値および周波数成分および位相差のうち少なくともいずれか１つがほぼ同じであることを特徴とする請求項１または請求項２記載の画像処理方法。
【請求項５】
前記色分解ステップは、合成画像情報をＲ（赤）、Ｇ（緑）、Ｂ（青）あるいはＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の３原色の色プレーンに分解することを特徴とする請求項１または請求項２記載の画像処理方法。
【請求項６】
前記選択処理ステップは、前記複数の平滑化処理ステップの各処理結果のうちで一番信号のＳＮ比が高い１つの処理結果を選択することを特徴とする請求項１または請求項２記載の画像処理方法。
【請求項７】
前記選択処理ステップは、前記複数の平滑化処理ステップの各処理結果のうちで一番信号の強さが高い１つの処理結果を選択することを特徴とする請求項１または請求項２記載の画像処理方法。
【請求項８】
可視状態の主画像情報に対して不可視状態で副情報を埋め込むことによって作成される合成画像情報を取得して、その取得した合成画像情報から前記副情報を復元する画像処理手段から構成される画像処理装置において、
前記画像処理手段は、
合成画像情報を取込む画像情報取込手段と、
この画像情報取込手段により取込まれた合成画像情報を複数の色成分に色分解する色分解手段と、
この色分解手段により色分解された複数の色成分の画像情報を用いて前記副情報の各色成分単位での周波数成分を抽出する複数の周波数成分抽出手段と、
この複数の周波数成分抽出手段により抽出された複数の周波数成分をそれぞれ平滑化処理する複数の平滑化処理手段と、
この複数の平滑化処理手段の各処理結果から１つの処理結果を選択する選択処理手段と、
この選択処理手段により選択された処理結果を正規化処理する正規化処理手段と、
この正規化処理手段の処理結果を出力する出力処理手段とを具備したことを特徴とする画像処理装置。
【請求項９】
可視状態の主画像情報に対して不可視状態で副情報を埋め込むことによって合成画像情報を作成する第１の画像処理手段、および、この第１の画像処理手段により作成された合成画像情報を取得して、その取得した合成画像情報から前記副情報を復元する第２の画像処理手段から構成される画像処理装置において、
前記第１の画像処理手段は、
主画像情報に対して副情報の復元時に影響を与える周波数成分を除去または低減する主画像周波数処理手段と、
副情報を復元する際に用いる鍵情報および当該副情報を基に埋め込み情報を作成する埋め込み情報作成手段と、
前記主画像周波数処理手段により処理された主画像情報に対して前記埋め込み情報作成手段により作成された埋め込み情報を不可視状態で埋め込んで合成画像情報を作成する合成画像作成手段とを具備し、
前記第２の画像処理手段は、
前記第１の画像処理手段により作成された合成画像情報を取込む画像情報取込手段と、
この画像情報取込手段により取込まれた合成画像情報を複数の色成分に色分解する色分解手段と、
この色分解手段により色分解された複数の色成分の画像情報を用いて前記副情報の各色成分単位での周波数成分を抽出する複数の周波数成分抽出手段と、
この複数の周波数成分抽出手段により抽出された複数の周波数成分をそれぞれ平滑化処理する複数の平滑化処理手段と、
この複数の平滑化処理手段の各処理結果から１つの処理結果を選択する選択処理手段と、
この選択処理手段により選択された処理結果を正規化処理する正規化処理手段と、
この正規化処理手段の処理結果を出力する出力処理手段とを具備したことを特徴とする画像処理装置。
【請求項１０】
前記色分解手段は、合成画像情報をＲ（赤）、Ｇ（緑）、Ｂ（青）あるいはＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の３原色の色プレーンに分解することを特徴とする請求項８または請求項９記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、可視状態の主画像情報（人物の顔画像など）に対して別の付加的な副情報（セキュリティ情報など）を不可視状態で埋め込み合成して合成画像情報を作成し、後でその合成画像情報から副情報を復元するための画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
最近、情報の電子化やインターネットの普及に伴って、画像の偽造や変造防止のために電子透かし、電子署名などの技術が重要視されるようになってきている。特に、主画像情報に付加的な副情報を不可視状態で埋め込む電子透かし技術は、ＩＤカードや著作権情報を埋め込んだ写真に対する不正コピー、偽造、改ざん対策として提案されている。  
たとえば、主画像情報に色差情報を利用して副情報を重畳処理することにより当該副情報の埋め込みを行なう電子透かし方法が公知である（たとえば、特許文献１、特許文献２参照）。
【特許文献１】特開２００１−２６８３４６号公報
【特許文献２】特開２００５−１８４６０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
画像の偽造や変造防止のために用いられる電子透かし技術は、主画像情報に副情報（電子透かし情報）等の埋め込み情報を不可視状態で埋め込む技術であるが、後で副情報を取出すために復元処理を行なう必要がある。  
副情報を取出す際の復元処理に関しては、従来から色々な手法があるが、その中でも周波数領域を利用した周波数フィルタリング等の手法はよく利用されることが多い。
【０００４】
一般的に電子透かし技術は、デジタルデータを扱うことを前提にしているために、画像記録装置（カラープリンタ等）で記録した電子透かし入り画像から副情報（電子透かし情報）を復元する際には、必ずＤ−Ａ変換およびＡ−Ｄ変換を含むため、画質の劣化を避けることが難しく、そのために復元処理の際に副情報の劣化の影響を最小限にする技術が必要となる。
【０００５】
また、特許文献２等に開示されている、主画像情報に対し埋め込み情報を重畳処理することで電子透かしを埋め込む方法では、電子透かし復元の際に主画像情報の色分布や周波数分布の影響を受けやすいという問題が存在する。
【０００６】
そこで、本発明は、主画像情報の色分布や周波数分布に影響を受けることなく、復元処理により安定して副情報を取出すことが可能になる画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理方法は、可視状態の主画像情報に対して不可視状態で副情報を埋め込むことによって合成画像情報を作成する第１の画像処理方法、および、この第１の画像処理方法により作成された合成画像情報を取得して、その取得した合成画像情報から前記副情報を復元する第２の画像処理方法から構成される画像処理方法において、前記第１の画像処理方法は、副情報を復元する際に用いる鍵情報および当該副情報を基に埋め込み情報を作成する埋め込み情報作成ステップと、主画像情報に対して前記埋め込み情報作成ステップにより作成された埋め込み情報を不可視状態で埋め込んで合成画像情報を作成する合成画像作成ステップとを具備し、前記第２の画像処理方法は、前記第１の画像処理方法により作成された合成画像情報を取込む画像情報取込ステップと、この画像情報取込ステップにより取込まれた合成画像情報を複数の色成分に色分解する色分解ステップと、この色分解ステップにより色分解された複数の色成分の画像情報を用いて前記副情報の各色成分単位での周波数成分を抽出する複数の周波数成分抽出ステップと、この複数の周波数成分抽出ステップにより抽出された複数の周波数成分をそれぞれ平滑化処理する複数の平滑化処理ステップと、この複数の平滑化処理ステップの各処理結果から１つの処理結果を選択する選択処理ステップと、この選択処理ステップにより選択された処理結果を正規化処理する正規化処理ステップと、この正規化処理ステップの処理結果を出力する出力処理ステップとを具備したことを特徴とする。
【０００８】
また、本発明の画像処理方法は、可視状態の主画像情報に対して不可視状態で副情報を埋め込むことによって合成画像情報を作成する第１の画像処理方法、および、この第１の画像処理方法により作成された合成画像情報を取得して、その取得した合成画像情報から前記副情報を復元する第２の画像処理方法から構成される画像処理方法において、前記第１の画像処理方法は、主画像情報に対して副情報の復元時に影響を与える周波数成分を除去または低減する主画像周波数処理ステップと、副情報を復元する際に用いる鍵情報および当該副情報を基に埋め込み情報を作成する埋め込み情報作成ステップと、前記主画像周波数処理ステップにより処理された主画像情報に対して前記埋め込み情報作成ステップにより作成された埋め込み情報を不可視状態で埋め込んで合成画像情報を作成する合成画像作成ステップとを具備し、前記第２の画像処理方法は、前記第１の画像処理方法により作成された合成画像情報を取込む画像情報取込ステップと、この画像情報取込ステップにより取込まれた合成画像情報を複数の色成分に色分解する色分解ステップと、この色分解ステップにより色分解された複数の色成分の画像情報を用いて前記副情報の各色成分単位での周波数成分を抽出する複数の周波数成分抽出ステップと、この複数の周波数成分抽出ステップにより抽出された複数の周波数成分をそれぞれ平滑化処理する複数の平滑化処理ステップと、この複数の平滑化処理ステップの各処理結果から１つの処理結果を選択する選択処理ステップと、この選択処理ステップにより選択された処理結果を正規化処理する正規化処理ステップと、この正規化処理ステップの処理結果を出力する出力処理ステップとを具備したことを特徴とする。
【０００９】
また、本発明の画像処理装置は、可視状態の主画像情報に対して不可視状態で副情報を埋め込むことによって作成される合成画像情報を取得して、その取得した合成画像情報から前記副情報を復元する画像処理手段から構成される画像処理装置において、前記画像処理手段は、合成画像情報を取込む画像情報取込手段と、この画像情報取込手段により取込まれた合成画像情報を複数の色成分に色分解する色分解手段と、この色分解手段により色分解された複数の色成分の画像情報を用いて前記副情報の各色成分単位での周波数成分を抽出する複数の周波数成分抽出手段と、この複数の周波数成分抽出手段により抽出された複数の周波数成分をそれぞれ平滑化処理する複数の平滑化処理手段と、この複数の平滑化処理手段の各処理結果から１つの処理結果を選択する選択処理手段と、この選択処理手段により選択された処理結果を正規化処理する正規化処理手段と、この正規化処理手段の処理結果を出力する出力処理手段とを具備している。
【００１０】
さらに、本発明の画像処理装置は、可視状態の主画像情報に対して不可視状態で副情報を埋め込むことによって合成画像情報を作成する第１の画像処理手段、および、この第１の画像処理手段により作成された合成画像情報を取得して、その取得した合成画像情報から前記副情報を復元する第２の画像処理手段から構成される画像処理装置において、前記第１の画像処理手段は、主画像情報に対して副情報の復元時に影響を与える周波数成分を除去または低減する主画像周波数処理手段と、副情報を復元する際に用いる鍵情報および当該副情報を基に埋め込み情報を作成する埋め込み情報作成手段と、前記主画像周波数処理手段により処理された主画像情報に対して前記埋め込み情報作成手段により作成された埋め込み情報を不可視状態で埋め込んで合成画像情報を作成する合成画像作成手段とを具備し、前記第２の画像処理手段は、前記第１の画像処理手段により作成された合成画像情報を取込む画像情報取込手段と、この画像情報取込手段により取込まれた合成画像情報を複数の色成分に色分解する色分解手段と、この色分解手段により色分解された複数の色成分の画像情報を用いて前記副情報の各色成分単位での周波数成分を抽出する複数の周波数成分抽出手段と、この複数の周波数成分抽出手段により抽出された複数の周波数成分をそれぞれ平滑化処理する複数の平滑化処理手段と、この複数の平滑化処理手段の各処理結果から１つの処理結果を選択する選択処理手段と、この選択処理手段により選択された処理結果を正規化処理する正規化処理手段と、この正規化処理手段の処理結果を出力する出力処理手段とを具備している。
【発明の効果】
【００１１】
本発明によれば、副情報の復元処理時、たとえば、Ｒ、Ｇ、Ｂ（あるいはＣ、Ｍ、Ｙ）色プレーンそれぞれから電子透かし信号を取出して、それぞれの信号に対して復元処理を行ない、それらの中から状態の良いものを選択して復元結果とするか、さらに、電子透かし埋め込み前の主画像情報から電子透かしに影響する周波数成分を除去することにより、主画像情報の色分布や周波数分布に影響を受けることなく、復元処理により安定して副情報を取出すことが可能になる画像処理方法および画像処理装置を提供できる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。  
なお、以下の説明では、たとえば、ＩＤカードの個人認証用顔画像の処理に適用した場合について説明するが、本発明はこれに限定されるものではなく、他の画像の処理にも同様に適用可能である。
【００１３】
まず、第１の実施の形態について説明する。  
第１の実施の形態に係る画像処理装置（画像処理方法）は、図１（ａ）に示す第１の画像処理手段（第１の画像処理方法）、および、図１（ｂ）に示す第２の画像処理手段（第２の画像処理方法）から構成される。
【００１４】
図１（ａ）は、第１の実施の形態に係る第１の画像処理手段としての埋め込み処理系の構成を概略的に示すものである。この埋め込み処理系は、肉眼で可視状態の主画像情報（顔画像）に副情報（セキュリティ情報など）を不可視状態で埋め込んで合成画像情報を作成する、いわゆる電子透かし埋め込み処理を行なうもので、副情報を復元する際に用いる鍵情報および当該副情報を基に埋め込み情報１０５を作成する埋め込み情報作成手段としての埋め込み情報作成部１０４、主画像情報に対して埋め込み情報作成部１０４により作成された埋め込み情報１０５を不可視状態で埋め込んで合成画像情報１０７を作成する合成画像作成手段としての合成画像作成部１０６、および、埋め込み情報作成部１０４により作成された合成画像情報１０７を記録媒体の記録面上に可視状態で記録（印刷）する記録処理手段としての記録処理部１０８によって構成されている。
【００１５】
以下、このような構成において処理の流れについて説明する。  
入力情報として、主画像情報１０１、副情報（電子透かし情報）１０２、鍵情報１０３がある。主画像情報１０１は例えば個人認証用の顔画像、副情報１０２は主画像情報１０１のセキュリティ性を高める情報または真偽判定に用いる情報、さらには著作権管理に用いる情報など、鍵情報１０３は電子透かしとして埋め込んだ副情報１０２を後で取出して復元するときに用いる鍵となる情報である。
【００１６】
まず、埋め込み情報作成部１０４は、副情報１０２および鍵情報１０３を入力として埋め込み情報１０５を作成する。ここでは、副情報を復元する際に用いる複数の鍵情報および副情報およびあらかじめ与えられた色差量を基に所定の鍵情報に色差変調処理を行なうことにより埋め込み情報を作成する。
【００１７】
次に、合成画像作成部１０６は、主画像情報１０１および埋め込み情報作成部１０４により作成された埋め込み情報１０５を入力として合成画像情報１０７を作成する。ここでは、主画像情報１０１に対して埋め込み情報作成部１０４により作成された埋め込み情報１０５を重畳処理することにより合成画像情報１０７を作成する。この合成画像情報１０７が電子透かし情報が不可視状態で埋め込まれた画像情報である。
【００１８】
次に、記録処理部１０８は、合成画像作成部１０６により作成された合成画像情報１０７を可視画像として記録媒体に記録処理することにより、記録された合成画像情報（記録物）１０９が作成される。この場合の記録物とは例えば社員証等のＩＤカードを示す。  
以降、上述した図１（ａ）の副情報の埋め込み処理を電子透かし埋め込み処理と呼ぶ。
【００１９】
図１（ｂ）は、第１の実施の形態に係る第２の画像処理手段としての復元処理系の構成を概略的に示すものである。この復元処理系は、図１（ａ）の電子透かし埋め込み処理系で作成された記録物１０９から副情報１０２を復元する、いわゆる電子透かし復元処理を行なうもので、記録物１０９に記録されている合成画像情報を取込み、デジタルの画像情報に変換する画像情報取込手段としての画像情報入力部１１０、画像情報入力部１１０により取込まれた合成画像情報を複数の色成分、この例ではＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色の色プレーンに分解する色分解手段としての色分解部１１１、色分解部１１１により色分解されたＲ、Ｇ、Ｂの画像情報を用いて副情報１０２の各色プレーン単位での周波数成分を抽出する複数の周波数成分抽出手段としての３つの周波数成分抽出部１１２ａ，１１２ｂ，１１２ｃ、周波数成分抽出部１１２ａ，１１２ｂ，１１２ｃにより抽出された各周波数成分をそれぞれ平滑化処理する３つの平滑化処理手段としての平滑化処理部１１３ａ，１１３ｂ，１１３ｃ、平滑化処理部１１３ａ，１１３ｂ，１１３ｃの各処理結果から１つの処理結果を選択する選択処理手段としての選択処理部１１４、選択処理部１１４により選択された処理結果を正規化処理する正規化処理手段としての正規化処理部１１５、および、正規化処理部１１５の処理結果を出力する出力処理手段としての表示処理部１１６によって構成されている。
【００２０】
以下、このような構成において処理の流れについて説明する。  
まず、画像情報入力部１１０は、記録物１０９に記録されている合成画像情報を光学的に読取り、デジタルの画像情報として入力する。次に、色分解部１１１は、画像情報入力部１１０により入力された画像情報をＲ、Ｇ、Ｂの３原色の色プレーンに色分解する。
【００２１】
次に、周波数成分抽出部１１２ａ，１１２ｂ，１１２ｃは、色分解部１１１によりＲ、Ｇ、Ｂの各色プレーンに分解されたそれぞれの画像情報に対し色プレーン単位で鍵情報の周波数成分を抽出する処理を行なう。  
次に、平滑化処理部１１３ａ，１１３ｂ，１１３ｃは、周波数成分抽出部１１２ａ，１１２ｂ，１１２ｃの各抽出結果に対しそれぞれ平滑化処理を行なう。
【００２２】
次に、選択処理部１１４は、平滑化処理部１１３ａ，１１３ｂ，１１３ｃの各処理結果から最適なものを選択し、正規化処理部１１５へ送る。  
次に、正規化処理部１１５は、入力値（選択処理部１１４の選択結果）を輝度値「０」から「２５５」の範囲内に収まるように正規化処理を行なう。最後に、表示処理部１１６は、正規化処理部１１５の処理結果を表示する。
【００２３】
なお、本実施の形態では、色分解部１１１にてＲ、Ｇ、Ｂの３原色の色プレーンに色分解しているが、他の組合わせ、たとえば、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）等でも構わない。  
以降、上述した図１（ｂ）の副情報の復元処理を電子透かし復元処理と呼ぶ。
【００２４】
図２は、作成されたＩＤカード２０１（記録物１０９に相当）の具体例を示している。ＩＤカード２０１には、持ち主の個人認証用顔画像２０２が記録されているが、この顔画像２０２は図１（ａ）で説明した処理によって作成され記録されたものである。また、識別番号（いわゆるＩＤ番号）、氏名、生年月日、有効期限などの個人管理情報２０３が記録されている。これらの個人管理情報２０３を、図１（ａ）の電子透かし埋め込み処理における副情報１０２として用いることにより、ＩＤカード２０１の認証用顔画像２０２と個人管理情報２０３とが関連付けられるため、ＩＤカード２０１の一部を改ざんしたり、偽造したりすることが困難になり、セキュリティ性を高めることが可能になる。
【００２５】
図３は、重畳処理を利用した電子透かし埋め込み処理の例を示している。本実施の形態では、たとえば、特開２００５−１８４６０３号公報等に記述されている色差および重畳処理を用いた電子透かし処理方法が適用できる。詳細については上記文献の記述内容を参照していただき、ここでは簡単な原理のみについて説明する。
【００２６】
最初に色差変調処理について説明する。  
図１（ａ）における鍵情報１０３を下記式（Ａ−１）〜（Ａ−６）にしたがい色差変調処理することにより埋め込み情報を作成する。  
ＫＥＹ（ｘ，ｙ）＝白画素の場合  →  ＥＭＤ（ｘ，ｙ）−Ｒ＝
＋△ＣＤ−Ｒ……（Ａ−１）  
ＥＭＤ（ｘ，ｙ）−Ｇ＝
−△ＣＤ−Ｇ……（Ａ−２）  
ＥＭＤ（ｘ，ｙ）−Ｂ＝
−△ＣＤ−Ｂ……（Ａ−３）  
ＫＥＹ（ｘ，ｙ）＝黒画素の場合  →  ＥＭＤ（ｘ，ｙ）−Ｒ＝
−△ＣＤ−Ｒ……（Ａ−４）  
ＥＭＤ（ｘ，ｙ）−Ｇ＝
＋△ＣＤ−Ｇ……（Ａ−５）  
ＥＭＤ（ｘ，ｙ）−Ｂ＝
＋△ＣＤ−Ｂ……（Ａ−６）  
ＫＥＹ（ｘ，ｙ）：鍵情報  
ＥＭＤ（ｘ，ｙ）：埋め込み情報（色差変調処理結果）  
ΔＣＤ          ：色差量
色差変調処理の結果、鍵情報が白画素に対応している部分はレッド成分リッチ（Ｒ−ｒｉｃｈ）になり、黒画素に対応している部分はシアン成分リッチ（Ｃ−ｒｉｃｈ）になる。レッドとシアンは物理補色の関係にあるために、両者を足し合わせると無彩色になる。したがって、この画素ピッチを人間の肉眼の感知範囲を超えた高解像度（約３００ｄｐｉ以上）に設定することにより、色差変調処理結果である埋め込み情報は肉眼ではレッドとシアンが識別できず無彩色（灰色）となる。この性質を利用することにより、鍵情報のパターンを見かけ上無彩色情報に置き換えることができる。
【００２７】
なお、上記式では鍵情報が白画素の場合にシアン成分リッチに、黒画素の場合にレッド成分リッチになるように色差変調を行なっているが、この関係は相対的なので、シアン成分リッチとレッド成分リッチが逆になっても原理上差し支えない。
【００２８】
次に、重畳処理について説明する。  
重畳処理は、画像の座標（ｘ，ｙ）における主画像情報、重畳用の埋め込み情報、合成画像情報を下記のように定義すると、  
主画像情報  ：ＳＲＣ−Ｃ（ｘ，ｙ）……図３（ａ）に相当……（Ｂ−１）  
埋め込み情報：ＥＭＤ−Ｃ（ｘ，ｙ）……図３（ｂ）に相当……（Ｂ−２）  
合成画像情報：ＤＥＳ−Ｃ（ｘ，ｙ）……図３（ｃ）に相当……（Ｂ−３）  
ｘ，ｙは画像の座標値（座標サイズは全て同じものとする）  
Ｃ＝｛Ｒ（赤）、Ｇ（緑）、Ｂ（青）｝プレーンを示す  
それぞれの値は２４ビットカラー演算の場合は、０〜２５５の整数値  
次式で表される。
【００２９】
ＤＥＳ−Ｒ（ｘ，ｙ）＝ＳＲＣ−Ｒ（ｘ，ｙ）＋ＥＭＤ−Ｒ（ｘ，ｙ）……（Ｃ−１）  
ＤＥＳ−Ｇ（ｘ，ｙ）＝ＳＲＣ−Ｇ（ｘ，ｙ）＋ＥＭＤ−Ｇ（ｘ，ｙ）……（Ｃ−２）  
ＤＥＳ−Ｂ（ｘ，ｙ）＝ＳＲＣ−Ｂ（ｘ，ｙ）＋ＥＭＤ−Ｂ（ｘ，ｙ）……（Ｃ−３）  
この方式では、  
（１）人間の視覚特性を利用  
・画像の周波数が高くなるほど階調識別能力が低下  
・輝度情報よりも色差情報の方が判別困難  
（２）補色の関係例……赤色＋シアン色＝無彩色（白）  （加法混色の場合）  
（３）高周波キャリアパターン画像に補色の関係および色差情報を適用（色差変調処
理）  
を用いることにより、画質劣化を招くことなく、主画像情報に副情報を不可視状態で埋め込むことが可能になっている。
【００３０】
上記（２）の例でいえば、赤色とシアン色（＝緑色＋青色）は、加法混色の場合、補色の関係にあり、赤色とシアン色が隣り合っていても人間の目には判別しにくく無彩色に見える。  
上記（３）のように、高周波キャリアパターン画像を用いることで、赤色リッチな画素とシアン色リッチな画素が繰り返し配置されているため、人間の目ではこれらの細かな色差の違いを識別できず、色差量はプラスマイナス「０」と判断してしまう人間の視覚特性を利用している。
【００３１】
次に、電子透かし復元処理について詳細な説明を行なう。  
まず、復元処理の対象となる合成画像情報がどのような状態になっているかを説明する。
【００３２】
図４は、本実施の形態で用いる主画像情報（人の顔画像）を空間領域から周波数領域に変換した例を示している。図４（ａ）は認証用写真等の人物の顔画像４０１であり、図４（ｂ）は周波数領域での振幅の信号レベルを模式的に示したものである。図４（ｂ）の符号４０２はｘ−ｙ平面での周波数分布、４０３はｘ−ｚ平面での周波数分布を示す。一般的に、人物の顔画像のような自然画像は周波数が低い領域である中央の信号レベルが高く、周波数が高い領域である周辺にいくにしたがって信号レベルは低くなる。
【００３３】
図５は、本実施の形態で用いる鍵情報を空間領域から周波数領域に変換した例を示している。図５の鍵情報を画像に変換するには”１”または”０”のビット列の例えば”１”を黒画素、”０”を白画素に対応させて白黒２値画像に変換して用いることで対応可能である。
【００３４】
図５（ａ）は、白黒２値画像に変換した例を模式的に示した鍵情報５０１であり、図５（ｂ）は周波数領域での振幅の信号レベルを模式的に示したものである。図５（ｂ）の符号５０２はｘ−ｙ平面での周波数分布、５０３はｘ−ｚ平面での周波数分布を示す。本例の場合、第１ピークＰ１が図５（ｂ）に示すように４点存在し、ｘ方向およびｙ方向に基本周期の奇数分の１の周期の高周波成分が第２ピークＰ２、第３ピークＰ３（図示省略）として現れる。
【００３５】
図６は、上記式（Ｃ−１）〜（Ｃ−３）で示した重畳処理を周波数領域での表現に変換したものを模式的に示したものである。  
図６（ａ）は主画像情報の周波数領域表現、図６（ｂ）は鍵情報の周波数領域表現、図６（ｃ）は合成画像情報の周波数領域表現である。正確には重畳処理において、図６（ｂ）は鍵情報の周波数領域ではなく、埋め込み情報の周波数領域表現であるが、色差変調ではＲ、Ｇ、Ｂの１つの色プレーンに特定して着目した場合、鍵情報の周波数は全く変更されておらず、そのまま埋め込み情報へと変換されているため、［鍵情報の周波数領域表現＝埋め込み情報の周波数表現］と見なして構わない。
【００３６】
重畳処理の結果、合成画像情報は、図６（ｃ）で示すように、ｘ−ｙ平面で見た場合、主画像情報の周波数分布と鍵情報の周波数成分とが重なっている。  
そこで、周波数成分抽出部１１２ａ，１１２ｂ，１１２ｃでは、図６（ｃ）で示すように、合成画像情報の周波数分布から鍵情報の周波数部分を検知して抽出し、図６（ｃ）から図５（ｂ）の状態へ戻すような処理を行なう。
【００３７】
図７は、平滑化処理部１１３ａ，１１３ｂ，１１３ｃの処理内容を模式的に示している。  
周波数成分抽出部１１２ａ，１１２ｂ，１１２ｃで抽出された信号は、たとえば、図７（ａ）に示すように示される。横軸は位置（ｘ方向またはｙ方向）、縦軸は振幅（＝信号の強さ）を示す。実際には、２次元画像の周波数分布の振幅と位置の関係なので、図７（ａ）のように単純な２次元グラフではなく、２次元グラフになるのであるが、ここは説明をわかりやすくするために、このようにしている。
【００３８】
図７（ａ）では、相対的に振幅の大きい波と相対的に振幅の小さい波がある。振幅が大きい波の部分は電子透かしが抽出された部分であり、「信号有り」と図中で示してある。また、振幅が小さい波の部分は電子透かしが抽出されなかった部分であり、「信号無し」と図中で示してある。
【００３９】
図７（ａ）の波形のままでは人間の目にはわかりにくいので、図７（ａ）に対して絶対値を取り、ある定数倍処理を行なうと図７（ｂ）となる。  
さらに、所定の領域単位で参照領域を設けて移動平均処理等を行なうと、図７（ｃ）のようになり、「信号有り」と「信号無し」の部分が比較的明確に分離される。
【００４０】
次に、選択処理部１１４について説明する。  
ここでは、３つの色プレーン単位で処理された平滑化処理部１１３ａ，１１３ｂ，１１３ｃでの各処理結果が入力値となる。選択処理部１１４では、これら３つの入力値から最適な値を選択して正規化処理部１１５へ送る。本実施の形態では、信号のＳＮ比（ＳＮＲ＝１０＊ｌｏｇ（ＰＳ／ＰＮ）、ＰＳ：透かし信号、ＰＮ：雑音信号）の高いものを最適値として選択する。なお、本例ではＳＮ比を選択基準としたが、単純に最大値を基準に選択することも有効である。
【００４１】
本実施の形態では、入力画像情報を色分解してから上記のように周波数抽出処理、平滑化処理等を行ない、各色プレーンの結果を比較して最適な出力を選択することにより、主画像情報の色分布に影響を受けずに安定して電子透かし（副情報）を復元することが可能になる。
【００４２】
図８は、正規化処理部１１５の処理内容を模式的に示している。  
選択処理部１１４で選択された平滑化処理結果は、図８（ａ）に示すように、相対的に大きいピークＡ２を持つ波形と相対的に小さいピークＡ１を持つ波形の２種類の波形の混合されたものである。実際、小さいピークＡ１の波形では電子透かし信号は抽出されていないので、この信号は必要ない。
【００４３】
そこで、正規化処理を行なう。一般的には、デジタル処理を行なう際には各色プレーンに対して８ビットを割り当てるので、最小値が「０」、最大値が「２５５」となるように座標変換する。その結果例を図８（ｂ）に示す。図８（ｂ）では、わかりやすくするために振幅「０」以下の信号を記述しているが、実際には「０」以下の信号は全て切り捨てて、「０」から「２５５」の範囲に収まるように変換する。
【００４４】
最後に、表示処理部１１６で復元処理の結果を表示する。この際、出力画像に対して下記式（Ｄ−１）で示されるようなガンマ補正をかけることにより、さらに視覚的に見やすくなる。
【００４５】
ＯＵＴ＝２５５＊（ＩＮ／２５５）＾γ……（Ｄ−１）
ＩＮ：ガンマ補正前の信号値
ＯＵＴ：ガンマ補正後の信号値
γ：ガンマ補正パラメータ、γ＝１．５〜４．０程度
以上説明したように第１の実施の形態によれば、Ｒ、Ｇ、Ｂ（あるいはＣ、Ｍ、Ｙ）色プレーンそれぞれから電子透かし信号を取出して、それぞれの信号に対して復元処理を行ない、それらの中から状態の良いものを選択して復元結果とすることで、主画像情報の色分布に影響を受けることなく、復元処理にて安定して副情報（電子透かし）を取出すことが可能になる。
【００４６】
次に、第２の実施の形態について説明する。  
第２の実施の形態に係る画像処理装置（画像処理方法）は、図９（ａ）に示す第１の画像処理手段（第１の画像処理方法）、および、図９（ｂ）に示す第２の画像処理手段（第２の画像処理方法）から構成される。
【００４７】
図９（ａ）は、第２の実施の形態に係る第１の画像処理手段としての埋め込み処理系の構成を概略的に示すものである。第２の実施の形態に係る埋め込み処理系の第１の実施の形態と異なる点は、後で副情報を復元する際に用いる鍵情報を周波数領域に変換して第１ピーク成分の周波数領域を抽出する鍵情報ピーク成分抽出手段としての鍵情報ピーク成分抽出部９０１、および、副情報を埋め込む前に主画像情報に対して鍵情報ピーク成分抽出部９０１により得られた第１ピーク成分の周波数領域を除去または低減する主画像周波数処理手段としての主画像周波数処理部９０２が追加された点にあり、その他は第１の実施の形態と同様であるので説明は省略する。
【００４８】
以下、このような構成において処理の流れについて説明する。  
まず、埋め込み情報作成部１０４は、副情報１０２および鍵情報１０３を入力として埋め込み情報１０５を作成する。
【００４９】
次に、鍵情報ピーク成分抽出部９０１は、鍵情報１０３を入力としてピーク成分抽出処理を行なう。ここでは、復元に用いる鍵情報１０３を２次元画像に変換した後、たとえば、フーリエ変換等を行なうことで、２次元空間領域から周波数領域への変換を行ない、周波数領域での第１ピーク成分を抽出する。ここでの第１ピーク成分とは、周波数領域での振幅の信号レベルが一番高い領域を示す。
【００５０】
次に、主画像周波数処理部９０２は、鍵情報ピーク成分抽出部９０１で抽出された第１ピーク成分および主画像情報１０１を入力として主画像周波数処理を行なう。ここでは、たとえば、主画像情報１０１に対しフーリエ変換等を行なうことで、空間領域から周波数領域への変換を行なった後に、鍵情報１０３の第１ピーク成分に相当する周波数成分を主画像情報１０１から低減または除去することで、新たな主画像情報１０１′を作成する。
【００５１】
次に、合成画像作成部１０６は、主画像周波数処理部１０５で作成された新たな主画像情報１０１′、および、埋め込み情報作成部１０４により作成された埋め込み情報１０５を入力として合成画像情報１０７を作成する。ここでは、新たな主画像情報１０１′に対して埋め込み情報作成部１０４により作成された埋め込み情報１０５を重畳処理することにより合成画像情報１０７を作成する。
【００５２】
次に、記録処理部１０８は、合成画像作成部１０６により作成された合成画像情報１０７を可視画像として記録媒体に記録処理することにより、記録された合成画像情報（記録物）１０９が作成される。  
図９（ｂ）は、第２の実施の形態に係る第２の画像処理手段としての復元処理系の構成を概略的に示すものである。第２の実施の形態に係る復元処理系は、図２（ａ）の電子透かし埋め込み処理系で作成された記録物１０９から副情報１０２を復元する、いわゆる電子透かし復元処理を行なうもので、その構成は第１の実施の形態と同様であるので説明は省略する。
【００５３】
以下、第２の実施の形態における作用効果について図１０を参照して説明する。  
図１０（ａ）は、第１の実施の形態で主画像情報１０１を用いて埋め込み処理した結果の周波数分布を模式的に示し、図１０（ｂ）は、第２の実施の形態で新たな主画像情報１０１′を用いて埋め込み処理した結果の周波数分布を模式的に示す。
【００５４】
図１０（ａ）では、主画像情報１０１の周波数分布と埋め込み情報（＝鍵情報）１０５の周波数分布とが重なっているため、復元処理における周波数成分抽出部１１２ａ，１１２ｂ，１１２ｃで周波数の干渉が生じ易い。そのため、復元処理を行なった場合、干渉した成分がノイズとして現れるため、ＳＮ比等が悪くなり、復元結果への悪影響が比較的大きい。
【００５５】
図１０（ｂ）では、新たな主画像情報１０１′の周波数分布と埋め込み情報（＝鍵情報）１０５の周波数分布との重なりがほとんど無いため、復元処理における周波数成分抽出部１１２ａ，１１２ｂ，１１２ｃで周波数の干渉が生じない。そのため、復元処理を行なった場合、ノイズが少なくなって、ＳＮ比が高くなり、復元結果への悪影響が比較的少ない。したがって、復元処理を行なった場合、鍵情報１０３の周波数のみを精度良く検知することが可能になる。
【００５６】
以上説明したように第２の実施の形態によれば、さらに、電子透かし埋め込み前の主画像情報から電子透かしに影響する周波数成分を除去することにより、副情報の復元処理時に周波数干渉が起こりにくくなるため、主画像情報の色分布および周波数分布に影響を受けることなく、復元処理にて安定して副情報（電子透かし）を取出すことが可能になる。
【図面の簡単な説明】
【００５７】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成を示すもので、（ａ）図は埋め込み処理系の構成を概略的に示すブロック図、（ｂ）図は復元処理系の構成を概略的に示すブロック図。
【図２】作成されたＩＤカードの一例を模式的に示す平面図。
【図３】電子透かしの重畳処理を説明するための模式図。
【図４】主画像情報の周波数分布を示す模式図。
【図５】鍵情報の周波数分布を示す模式図。
【図６】合成画像情報の周波数分布を示す模式図。
【図７】平滑化処理部の処理を説明するための模式図。
【図８】正規化処理部の処理を説明するための模式図。
【図９】本発明の第２の実施の形態に係る画像処理装置の構成を示すもので、（ａ）図は埋め込み処理系の構成を概略的に示すブロック図、（ｂ）図は復元処理系の構成を概略的に示すブロック図。
【図１０】合成画像情報の周波数分布を示す模式図。
【符号の説明】
【００５８】
１０１…主画像情報、１０２…副情報（電子透かし情報）、１０３…鍵情報、１０４…埋め込み情報作成部（埋め込み情報作成手段）、１０５…埋め込み情報、１０６…合成画像作成部（合成画像作成手段）、１０７…合成画像情報、１０８…記録処理部（記録処理手段）、１０９…記録物、１１０…画像情報入力部（画像情報取込手段）、１１１…色分解部（色分解手段）、１１２ａ，１１２ｂ，１１２ｃ…周波数成分抽出部（周波数成分抽出手段）、１１３ａ，１１３ｂ，１１３ｃ…平滑化処理部（平滑化処理手段）、１１４…選択処理部（選択処理手段）、１１５…正規化処理部（正規化処理手段）、１１６…表示処理部（出力処理手段）、２０１…ＩＤカード、２０２…認証用顔画像、２０３…個人管理情報。
【図１】
0004550749.tif 000002
【図２】
0004550749.tif 000003
【図３】
0004550749.tif 000004
【図４】
0004550749.tif 000005
【図５】
0004550749.tif 000006
【図６】
0004550749.tif 000007
【図７】
0004550749.tif 000008
【図８】
0004550749.tif 000009
【図９】
0004550749.tif 000010
【図１０】
0004550749.tif 000011