(57)【要約】【課題】透かし情報量が要求される改ざん発見用ないしは画質、耐性が要求される著作権保護用といった幅広い各々の用途・目的に適した耐性の電子透かしを埋め込むようにする。【解決手段】２次元ウェーブレット変換係数への電子透かしの埋め込み、耐性調整が可能なたたみ込み符号−ビタビ復号の組合せに加えて、電子透かしとなるたたみ込み符号のデータ耐性のファジー化を組合せることにより、電子透かし埋め込みによる画質の劣化を回避しており、電子透かしデータの耐性を高めるために画質を変換させるのに代えてデータ耐性のファジー化を利用することで電子透かしとなるたたみ込み符号の統計処理値に基づいているので、画質劣化が少ない上に電子透かしの情報量の増大を図ることもでき、用途に応じた電子透かしとすることができる。【選択図】        図６
2004235682.tif 000002
【特許請求の範囲】
【請求項１】
画像データを複数に分割した矩形領域毎に、２次元ウェーブレット係数への変換、量子化、符号化という手順で符号データに圧縮符号化する画像処理装置において、
分割された矩形領域毎に前記画像データに関して統計計算して電子透かしとして埋め込むたたみ込み符号を算出し、かつ、算出された当該たたみ込み符号のデータをファジー表現するためのファジー処理を施すたたみ込み符号算出手段と、
算出されファジー処理化されたたたみ込み符号を量子化されたウェーブレット変換係数に電子透かしとして埋め込む埋め込み手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記たたみ込み符号算出手段は、統計計算値に基づく乱数値をたたみ込み符号として用いることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記たたみ込み符号算出手段は、その符号化率が一律とされ、かつ、たたみ込み符号の拘束長が対象となる画像データの電子透かしの目的とする耐性レベルに応じて可変設定されることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記たたみ込み符号算出手段によりファジー処理は、たたみ込み数値の値が１増える毎にその意味を表すビット情報が１ビットずつ変化する表現形態とする処理であることを特徴とする請求項１ないし３の何れか一記載の画像処理装置。
【請求項５】
前記たたみ込み符号算出手段は、ファジー処理によりたたみ込み符号のデータを表現するビット数が可変設定自在であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
分割された或る矩形領域の統計計算値に基づき算出された電子透かし用のたたみ込み符号を、当該矩形領域とは分離された別の矩形領域に復元可能な対応付けをもって割り当てる割り当て領域変更手段を備えることを特徴とする請求項１ないし５の何れか一記載の画像処理装置。
【請求項７】
画像データを複数に分割した矩形領域毎に、２次元ウェーブレット係数への変換、量子化、符号化という手順に従い圧縮符号化された符号データを復号化、逆量子化、ウェーブレット逆変換という逆の手順で画像データに伸長する画像処理装置において、
たたみ込み符号が電子透かしとして量子化されたウェーブレット変換係数に埋め込まれた前記たたみ込み符号データをビタビ復号データとして前記符号データ中から抽出するビタビ復号手段と、
復号された画像データの複数に分割した矩形領域毎に当該画像データに関して統計計算されたデータとその矩形領域と対応付けされた矩形領域から抽出されたビタビ復号データとを照合してデータ改ざんの有無を検証する照合手段と、
を備えることを特徴とする画像処理装置。
【請求項８】
画像データを複数に分割した矩形領域毎に、２次元ウェーブレット係数への変換、量子化、符号化という手順で符号データに圧縮符号化する画像処理装置が備えるコンピュータにインストールされ、当該コンピュータに、
分割された矩形領域毎に前記画像データに関して統計計算して電子透かしとして埋め込むたたみ込み符号を算出し、かつ、算出された当該たたみ込み符号のデータをファジー表現するためのファジー処理を施すたたみ込み符号算出機能と、
算出されファジー処理化されたたたみ込み符号を量子化されたウェーブレット変換係数に電子透かしとして埋め込む埋め込み機能と、
を実行させることを特徴とする画像処理用プログラム。
【請求項９】
前記たたみ込み符号算出機能は、統計計算値に基づく乱数値をたたみ込み符号として用いることを特徴とする請求項８記載の画像処理用プログラム。
【請求項１０】
前記たたみ込み符号算出機能は、その符号化率が一律とされ、かつ、たたみ込み符号の拘束長が対象となる画像データの電子透かしの目的とする耐性レベルに応じて可変設定されることを特徴とする請求項８又は９記載の画像処理用プログラム。
【請求項１１】
前記たたみ込み符号算出機能によりファジー処理は、たたみ込み数値の値が１増える毎にその意味を表すビット情報が１ビットずつ変化する表現形態とする処理であることを特徴とする請求項８ないし１０の何れか一記載の画像処理用プログラム。
【請求項１２】
前記たたみ込み符号算出機能は、ファジー処理によりたたみ込み符号のデータを表現するビット数が可変設定自在であることを特徴とする請求項１１記載の画像処理用プログラム。
【請求項１３】
分割された或る矩形領域の統計計算値に基づき算出された電子透かし用のたたみ込み符号を、当該矩形領域とは分離された別の矩形領域に復元可能な対応付けをもって割り当てる割り当て領域変更機能を前記コンピュータに実行させることを特徴とする請求項８ないし１２の何れか一記載の画像処理用プログラム。
【請求項１４】
画像データを複数に分割した矩形領域毎に、２次元ウェーブレット係数への変換、量子化、符号化という手順に従い圧縮符号化された符号データを復号化、逆量子化、ウェーブレット逆変換という逆の手順で画像データに伸長する画像処理装置が備えるコンピュータにインストールされ、当該コンピュータに、
たたみ込み符号が電子透かしとして量子化されたウェーブレット変換係数に埋め込まれた前記たたみ込み符号データをビタビ復号データとして前記符号データ中から抽出するビタビ復号機能と、
復号された画像データの複数に分割した矩形領域毎に当該画像データに関して統計計算されたデータとその矩形領域と対応付けされた矩形領域から抽出されたビタビ復号データとを照合してデータ改ざんの有無を検証する照合機能と、
を実行させることを特徴とする画像処理用プログラム。
【請求項１５】
請求項８ないし１４の何れか一記載の画像処理用プログラムが格納されたコンピュータ読取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子透かしを扱う画像処理装置、画像処理用プログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
デジタル画像等のデジタル情報（デジタルコンテンツ）は、コンピュータ等によって、情報を劣化させることなく、簡単にコピーすることができる。近年では、デジタル画像技術の発達に伴い、デジタルカメラ等によって取得されたデジタル画像等を、証拠写真として使用することも可能になってきている。このようなデジタルコンテンツには、著作権等が付され、許可無くコピーしたり、コピーしたデジタルコンテンツを再利用したりすることが禁じられているものがある。
【０００３】
ところで、デジタルコンテンツは、簡単な修飾処理等の操作を施して書換え等を行なうことによって、容易に改ざんすることができる。このため、デジタルコンテンツは、不正にコピーされて勝手に再利用されたり、一部が改ざんされて証拠写真に使用出来ないようにされたりすることがある。
【０００４】
この対策として、デジタル画像等のデジタルコンテンツ中に該デジタルコンテンツを普通に再生した場合には視覚できない情報を付加する、いわゆる、電子透かしやデータハイディング等と呼ばれる方法によって、デジタルコンテンツの不正利用を防止するようにした技術がある。これにより、デジタルコンテンツが不正に利用されているか否かを、該デジタルコンテンツ中に埋め込まれた電子透かしによって判断することができる。
【０００５】
電子透かしをデジタルコンテンツに埋め込む用途には、次のようなものがある。
Ａ．著作権情報の記録
Ｂ．違法コピー者情報の追跡
Ｃ．ＩＰアドレスの履歴記録
Ｄ．違法コピーの防止：不可視・高耐性型
Ｅ．改ざん防止への応用：不可視・低耐性型
Ｆ．認証
Ｇ．秘密通信
Ｈ．所有権者表示のためにデジタルコンテンツの注釈やラベルを埋め込む：可視・不可逆型
Ｉ．透かし除去可能化：可視・可逆型……コンテンツ配布
【０００６】
このようにデジタルコンテンツ中に電子透かしを埋め込む目的には各種あるが、このような電子透かしに関して各種の目的を網羅することが難しいことも知られている。例えば、電子透かしを用いて著作権保護を強化したい場合には、埋め込む電子透かしの耐性を強くし、当該デジタルコンテンツに圧縮、回転等の多少の変更が加えられてもその電子透かしが破壊されないようにする必要がある。一方、電子透かしを用いてデジタルコンテンツに対する改ざんを検出したい場合には、当該電子透かしの耐性を弱くして多少の変更によっても電子透かしが壊れるようにする必要があり、著作権保護用の場合とはトレードオフの関係にある。
【０００７】
このような事情を考慮した文献や提案例も各種ある。
【０００８】
例えば、インデクス用を目的として、耐性を維持しつつ、電子透かし埋め込み後の画質を損なわないように、ウェーブレット係数のサブバンドＨＬ，ＬＨ或いはＨＨの係数に埋め込むようにしたものがある（例えば、非特許文献１，２参照）。
【０００９】
また、ウェーブレット変換時のウェーブレット係数に電子透かしを埋め込み、電子透かしの埋め込み自由度を向上させることで、電子透かしの高耐性・画質の低劣化を実現するようにした提案もある（例えば、特許文献１参照）。
【００１０】
また、ウェーブレット変換と誤り訂正符号とを組合せることにより、電子透かしの耐性を可変させるようにした提案例もある（例えば、特許文献２参照）。この場合、電子透かしの抽出処理系では、単純多数決方式を用いている。
【００１１】
さらには、ウェーブレット係数値に単調増加に変動する強度で電子透かしを埋め込むようにした提案例もある（例えば、特許文献３参照）。
【００１２】
【特許文献１】
特開２０００−１３５８７公報
【特許文献２】
特開２０００−１０６６２４公報
【特許文献３】
特開２０００−１９６８５６公報
【非特許文献１】
Ｔｈｅ  ２２ｎｄ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｈｅｏｒｙ  ａｎｄ  Ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎｓ（ＳＩＴＡ９９）  Ｙｕｚａｗａ，Ｎｉｉｇａｔａ，Ｊａｐａｎ，Ｎｏｖ．３０−Ｄｅｃ．３，１９９９“ウェーブレット変換の特性を利用した画像へのインデクス情報の埋め込み方法”岩田基、汐崎陽
【非特許文献２】
Ｔｈｅ  ２３ｎｄ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｈｅｏｒｙ  ａｎｄ  Ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎｓ（ＳＩＴＡ２０００）  Ａｓｏ，Ｋｕｍａｍｏｔｏ，Ｊａｐａｎ，Ｏｃｔ．１０−１３，２０００“ウェーブレット係数の大小関係を利用してインデクス情報を埋め込む電子透かし法”岩田基、汐崎陽
【００１３】
【発明が解決しようとする課題】
このように各種文献、提案例があるが、何れも完全なものではない。
【００１４】
まず、非特許文献１，２による場合、例えばデジタルカメラにおけるインデクス情報の埋め込みに特化し、主に画質劣化の低減を考慮しているものであり、デジタルコンテンツの改ざん検出用〜著作権保護用といった幅広い目的に適用するには不十分である。
【００１５】
特許文献１の場合、ウェーブレット変換時のウェーブレット係数に電子透かしを埋め込むわけであるが、画像データの自動分析等によって埋め込み箇所を自動設定するのではなく、外部からのパラメータ指定による閾値で判断するものであり、自動処理化の点で不十分な方法である。
【００１６】
特許文献２の場合、ウェーブレット変換の最低域以外の係数の中で絶対値の大きい方の係数値に電子透かしを埋め込むとともに、１ｂｉｔ誤り訂正符号方式を組合せることにより、著作権保護と改ざん発見用との両方の機能を実現できる、とされているものであるが、著作権保護用に要求される画質の劣化の程度、改ざん検出用に要求される電子透かしの情報量の点で、必ずしも十分なものではない。
【００１７】
さらに、特許文献３の場合には、知覚的に重要でない成分から順に電子透かしを埋め込むことにより、電子透かしを埋め込んでも画質を損ないにくいメリットがあるものの、電子透かしの情報量を増やす目的においては知覚的に重要な成分にも電子透かしを埋め込むので、画質を低下させない程度が必ずしも十分ではない。
【００１８】
本発明の目的は、ＪＰＥＧ２０００アルゴリズムによる高圧縮処理をベースとしつつ、改ざん発見用ないしは著作権保護用といった幅広い各々の用途・目的に適した耐性の電子透かしを埋め込み、復元できるようにすることである。
【００１９】
【課題を解決するための手段】
請求項１記載の発明の画像処理装置は、画像データを複数に分割した矩形領域毎に、２次元ウェーブレット係数への変換、量子化、符号化という手順で符号データに圧縮符号化する画像処理装置において、分割された矩形領域毎に前記画像データに関して統計計算して電子透かしとして埋め込むたたみ込み符号を算出し、かつ、算出された当該たたみ込み符号のデータをファジー表現するためのファジー処理を施すたたみ込み符号算出手段と、算出されファジー処理化されたたたみ込み符号を量子化されたウェーブレット変換係数に電子透かしとして埋め込む埋め込み手段と、を備える。
【００２０】
従って、２次元ウェーブレット変換係数への電子透かしの埋め込み、耐性調整が可能なたたみ込み符号−ビタビ復号の組合せに加えて、電子透かしとなるたたみ込み符号のデータ耐性のファジー化を組合せることにより、電子透かし埋め込みによる画質の劣化を回避しており、電子透かしデータの耐性を高めるために画質を変換させるのに代えて電子透かしとなるたたみ込み符号の統計処理値に基づいているので、画質劣化が少ない上に電子透かしの情報量の増大を図ることもでき、用途に応じた電子透かしとすることができる。
【００２１】
請求項２記載の発明は、請求項１記載の画像処理装置において、前記たたみ込み符号算出手段は、統計計算値に基づく乱数値をたたみ込み符号として用いる。
【００２２】
従って、統計計算値に基づく乱数値をたたみ込み符号とすることにより、電子透かしとしての特性をより適正に発揮させることができる。
【００２３】
請求項３記載の発明は、請求項１又は２記載の画像処理装置において、前記たたみ込み符号算出手段は、その符号化率が一律とされ、かつ、たたみ込み符号の拘束長が対象となる画像データの電子透かしの目的とする耐性レベルに応じて可変設定される。
【００２４】
従って、例えば、符号化率は１／２の如く一律とするが、拘束長に関しては、例えば電子透かしの情報量が重視され耐性は弱めの方が好ましい改ざん検出用の電子透かしの場合であれば、たたみ込み拘束長を２〜３程度に設定する一方、画質及び耐性が重視される著作権保護用の電子透かしの場合であれば、たたみ込み拘束長を６程度に設定することで、各々の目的に適した電子透かしとすることができる。
【００２５】
請求項４記載の発明は、請求項１ないし３の何れか一記載の画像処理装置において、前記たたみ込み符号算出手段によりファジー処理は、たたみ込み数値の値が１増える毎にその意味を表すビット情報が１ビットずつ変化する表現形態とする処理である。
【００２６】
従って、電子透かしとしてのデータ耐性をファジー化する処理が、たたみ込み数値の値が１増える毎にその意味を表すビット情報が１ビットずつ変化する表現形態とする処理であるので、ビット情報の変化を滑らかにすることができ、例えば、統計計算値が非可逆圧縮により低下することを補完することが可能となる。
【００２７】
請求項５記載の発明は、請求項４記載の画像処理装置において、前記たたみ込み符号算出手段は、ファジー処理によりたたみ込み符号のデータを表現するビット数が可変設定自在である。
【００２８】
従って、ファジー処理によりたたみ込み符号のデータを表現するビット数が、例えば２ビット、３ビットの如く、可変設定自在であるので、電子透かしとしてのデータをファジー化する処理において改ざん発見レベルの調整が可能となる。
【００２９】
請求項６記載の発明は、請求項１ないし５の何れか一記載の画像処理装置において、分割された或る矩形領域の統計計算値に基づき算出された電子透かし用のたたみ込み符号を、当該矩形領域とは分離された別の矩形領域に復元可能な対応付けをもって割り当てる割り当て領域変更手段を備える。
【００３０】
従って、電子透かし用のたたみ込み符号を取得するための供与体となる矩形領域と、当該たたみ込み符号が埋め込まれる受容体となる矩形領域とを同一とはせず分離することにより、何れの矩形領域のデータが壊されても辻褄が合わなくなるので、改ざんされたことを発見できることとなり、改ざん発見の感度を向上させることができる。
【００３１】
請求項７記載の発明の画像処理装置は、画像データを複数に分割した矩形領域毎に、２次元ウェーブレット係数への変換、量子化、符号化という手順に従い圧縮符号化された符号データを復号化、逆量子化、ウェーブレット逆変換という逆の手順で画像データに伸長する画像処理装置において、たたみ込み符号が電子透かしとして量子化されたウェーブレット変換係数に埋め込まれた前記たたみ込み符号データをビタビ復号データとして前記符号データ中から抽出するビタビ復号手段と、復号された画像データの複数に分割した矩形領域毎に当該画像データに関して統計計算されたデータとその矩形領域と対応付けされた矩形領域から抽出されたビタビ復号データとを照合してデータ改ざんの有無を検証する照合手段と、を備える。
【００３２】
従って、請求項１ないし６の何れかに記載の発明により埋め込まれた電子透かしに対して適正に復号、検証処理を行わせることができる。
【００３３】
請求項８記載の発明の画像処理用プログラムは、画像データを複数に分割した矩形領域毎に、２次元ウェーブレット係数への変換、量子化、符号化という手順で符号データに圧縮符号化する画像処理装置が備えるコンピュータにインストールされ、当該コンピュータに、分割された矩形領域毎に前記画像データに関して統計計算して電子透かしとして埋め込むたたみ込み符号を算出し、かつ、算出された当該たたみ込み符号のデータをファジー表現するためのファジー処理を施すたたみ込み符号算出機能と、算出されファジー処理化されたたたみ込み符号を量子化されたウェーブレット変換係数に電子透かしとして埋め込む埋め込み機能と、を実行させる。
【００３４】
従って、２次元ウェーブレット変換係数への電子透かしの埋め込み、耐性調整が可能なたたみ込み符号−ビタビ復号の組合せに加えて、電子透かしとなるたたみ込み符号のデータ耐性のファジー化を組合せることにより、電子透かし埋め込みによる画質の劣化を回避しており、電子透かしデータの耐性を高めるために画質を変換させるのに代えて電子透かしとなるたたみ込み符号の統計処理値に基づいているので、画質劣化が少ない上に電子透かしの情報量の増大を図ることもでき、用途に応じた電子透かしとすることができる。
【００３５】
請求項９記載の発明は、請求項８記載の画像処理用プログラムにおいて、前記たたみ込み符号算出機能は、統計計算値に基づく乱数値をたたみ込み符号として用いる。
【００３６】
従って、統計計算値に基づく乱数値をたたみ込み符号とすることにより、電子透かしとしての特性をより適正に発揮させることができる。
【００３７】
請求項１０記載の発明は、請求項８又は９記載の画像処理用プログラムにおいて、前記たたみ込み符号算出機能は、その符号化率が一律とされ、かつ、たたみ込み符号の拘束長が対象となる画像データの電子透かしの目的とする耐性レベルに応じて可変設定される。
【００３８】
従って、例えば、符号化率は１／２の如く一律とするが、拘束長に関しては、例えば電子透かしの情報量が重視され耐性は弱めの方が好ましい改ざん検出用の電子透かしの場合であれば、たたみ込み拘束長を２〜３程度に設定する一方、画質及び耐性が重視される著作権保護用の電子透かしの場合であれば、たたみ込み拘束長を６程度に設定することで、各々の目的に適した電子透かしとすることができる。
【００３９】
請求項１１記載の発明は、請求項８ないし１０の何れか一記載の画像処理用プログラムにおいて、前記たたみ込み符号算出機能によりファジー処理は、たたみ込み数値の値が１増える毎にその意味を表すビット情報が１ビットずつ変化する表現形態とする処理である。
【００４０】
従って、電子透かしとしてのデータ耐性をファジー化する処理が、たたみ込み数値の値が１増える毎にその意味を表すビット情報が１ビットずつ変化する表現形態とする処理であるので、ビット情報の変化を滑らかにすることができ、例えば、統計計算値が非可逆圧縮により低下することを補完することが可能となる。
【００４１】
請求項１２記載の発明は、請求項１１記載の画像処理用プログラムにおいて、前記たたみ込み符号算出機能は、ファジー処理によりたたみ込み符号のデータを表現するビット数が可変設定自在である。
【００４２】
従って、ファジー処理によりたたみ込み符号のデータを表現するビット数が、例えば２ビット、３ビットの如く、可変設定自在であるので、電子透かしとしてのデータをファジー化する処理において改ざん発見レベルの調整が可能となる。
【００４３】
請求項１３記載の発明は、請求項８ないし１２の何れか一記載の画像処理用プログラムにおいて、分割された或る矩形領域の統計計算値に基づき算出された電子透かし用のたたみ込み符号を、当該矩形領域とは分離された別の矩形領域に復元可能な対応付けをもって割り当てる割り当て領域変更機能を前記コンピュータに実行させる。
【００４４】
従って、電子透かし用のたたみ込み符号を取得するための供与体となる矩形領域と、当該たたみ込み符号が埋め込まれる受容体となる矩形領域とを同一とはせず分離することにより、何れの矩形領域のデータが壊されても辻褄が合わなくなるので、改ざんされたことを発見できることとなり、改ざん発見の感度を向上させることができる。
【００４５】
請求項１４記載の発明の画像処理用プログラムは、画像データを複数に分割した矩形領域毎に、２次元ウェーブレット係数への変換、量子化、符号化という手順に従い圧縮符号化された符号データを復号化、逆量子化、ウェーブレット逆変換という逆の手順で画像データに伸長する画像処理装置が備えるコンピュータにインストールされ、当該コンピュータに、たたみ込み符号が電子透かしとして量子化されたウェーブレット変換係数に埋め込まれた前記たたみ込み符号データをビタビ復号データとして前記符号データ中から抽出するビタビ復号機能と、復号された画像データの複数に分割した矩形領域毎に当該画像データに関して統計計算されたデータとその矩形領域と対応付けされた矩形領域から抽出されたビタビ復号データとを照合してデータ改ざんの有無を検証する照合機能と、を実行させる。
【００４６】
従って、請求項１ないし６の何れかに記載の発明により埋め込まれた電子透かしに対して適正に復号、検証処理を行わせることができる。
【００４７】
請求項１５記載の発明のコンピュータ読取り可能な記憶媒体は、請求項８ないし１４の何れか一記載の画像処理用プログラムが格納されている。
【００４８】
従って、請求項８ないし１４の何れか一記載の発明と同様の作用を奏する。
【００４９】
【発明の実施の形態】
本発明の一実施の形態を図面に基づいて説明する。
【００５０】
［ＪＰＥＧ２０００アルゴリズムの概要について］
本実施の形態は、ＪＰＥＧ２０００アルゴリズムを利用するものであるが、ＪＰＥＧ２０００アルゴリズム自体は各種文献、公報等により周知であるので、詳細は省略し、その概要について説明する。図１は、ＪＰＥＧ２０００アルゴリズムの概要を説明するためのブロック図である。ＪＰＥＧ２０００のアルゴリズムは、色空間変換・逆変換部１１０、２次元ウェーブレット変換・逆変換部１１１、量子化・逆量子化部１１２、エントロピー符号化・復号化部１１３、タグ処理部１１４で構成されている。ＪＰＥＧ２０００の特徴の一つは、前述したように高圧縮領域における画質が良いという長所を持つ２次元離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ）を用いている点である。また、もう一つの大きな特徴は、最終段に符号形成を行うために、タグ処理部１１４と呼ばれる機能ブロックが追加されており、コードストリームの生成や解釈が行われる。そして、コードストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、図２は、デコンポジションレベル（ウェーブレット分割レベル＋１）が３の場合の、各デコンポジションレベルにおけるサブバンドの一例を示す図で、図２に示したブロックベースでのＤＷＴにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸長処理を停止させることができる。
【００５１】
また、原画像の入出力部分には、色空間変換・逆変換部１１０が用意されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＣｒＣｂあるいはＹＵＶ表色系への変換又は逆の変換を行う部分がこれに相当する。
【００５２】
以下、ＪＰＥＧ２０００アルゴリズム、特にウェーブレット変換について、説明する。
【００５３】
符号化時には、各コンポーネントの各タイルのデータが、色空間変換部１１０に入力され、色空間変換を施された後、２次元ウェーブレット変換部１１１で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００５４】
図２には、デコンポジションレベルが３の場合の、各デコンポジションレベルにおけるサブバンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（符号１２０））に対して、２次元ウェーブレット変換を施し、デコンポジションレベル１（符号１２１）に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（符号１２２）に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジションレベル３（符号１２３）に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。
【００５５】
さらに、図２では、各デコンポジションレベルにおいて符号化の対象となるサブバンドを、グレーで表してある。例えば、デコンポジションレベルを３とした時、グレーで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００５６】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、量子化部１１２で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、プレシンクトと呼ばれる重複のない矩形に分割される。ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素或いはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００５７】
エントロピー符号化部１１３では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１４は、エントロピコーダ部からの全符号化データを１本のコードストリームに結合するとともに、それにタグを付加する処理を行う。図３に、コードストリームの構造を簡単に示している。このようなコードストリームの先頭と各タイルを構成する部分タイルの先頭には、ヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コードストリームの終端には、再びタグが置かれる。
【００５８】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。この場合、タグ処理部１１４は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１１２で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部１１３で、このコンテキストとコードストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００５９】
このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部１１１で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１１０によって元の表色系のデータに変換される。
【００６０】
以上が、「ＪＰＥＧ２０００アルゴリズム」の概要である。
【００６１】
［画像処理装置］
本発明が適用される画像処理装置の例としては、各種あるが、本実施の形態では、その一例として、画像データに各種条件で電子透かしを埋め込んで圧縮符号化して出力するケースの多い画像処理装置としてデジタルカメラに適用し、このようなデジタルカメラで撮像され圧縮符号化されて提供される符号データを復号化して出力する画像処理装置としてパーソナルコンピュータに適用する例で説明する。
【００６２】
まず、図４は、本発明が適用される画像処理装置の一例としてのデジタルカメラ１のハードウエア構成を概略的に示すブロック図である。
【００６３】
本実施の形態のデジタルカメラ１は、概略的には、図４に示すように、撮像部１１と、信号処理部１２と、メモリ制御部１３と、主制御部１４と、フレームメモリ１５と、インタフェース１６と、表示部１７と、外部記憶部１８と、撮影モード設定部１９とを備える。そして、撮像部１１はレンズ２１と、絞り２２と、シャッタ２３と、光電変換素子２４と、前処理部２５とを含む。
【００６４】
ここで、信号処理部１２は、前処理部２５とメモリ制御部１３、主制御部１４及びインタフェース１６に接続されている。また、メモリ制御部１３はさらにフレームメモリ１５に接続されている。主制御部１４はさらに、メモリ制御部１３と撮影モード設定部１９に接続されている。また、フレームメモリ１５は、メモリ制御部１３に接続されている。インタフェース１６はさらに表示部１７及び外部記憶部１８に接続されている。
【００６５】
一方、撮像部１１においては、レンズ２１と絞り２２、シャッタ２３、光電変換素子２４が光軸上でこの順に配置され、光電変換素子２４は前処理部２５に接続されている。
【００６６】
また、撮像部１１の光電変換素子２４には例えばＣＣＤが使用されている。また、前処理部２５にはプリアンプや自動利得制御回路（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ−ＡＧＣ）等からなるアナログ信号処理部やアナログ−デジタル変換器（Ａ／Ｄ変換器）が備えられ、光電変換素子２４より出力されたアナログ映像信号に対して、増幅やクランプ等の前処理が施された後、上記アナログ映像信号がデジタル映像信号に変換される。
【００６７】
また、信号処理部１２はデジタル信号処理プロセッサ（ＤＳＰプロセッサ）等により構成され、前述のＪＰＥＧ２０００アルゴリズムによる画像圧縮機能を有し、撮像部１１において得られたデジタル映像信号に対して色分解、ホワイトバランス調整、γ補正など種々の画像処理を施す。また、メモリ制御部１３はこのようにして処理された画像信号をフレームメモリ１５へ格納したり、逆にフレームメモリ１５に格納された画像信号を読出したりする処理を行う。また、主制御部１４は当該デジタルカメラの各部を集中的に制御するＣＰＵ、このＣＰＵが使用する各種制御プログラムなどを記憶したＲＯＭ、ワークエリアとなるＲＡＭを有するマイクロコンピュータ構成のものである。なお、ＲＯＭに格納されている制御プログラムに代えて、当該制御プログラムを格納した記憶媒体（図示せず）をデジタルカメラ１に装着し、デジタルカメラ１のＣＰＵに当該制御プログラムを実行させるようにしてもよい。また、フレームメモリ１５は少なくとも２枚の画像を格納し、一般的にはＶＲＡＭ，ＳＲＡＭ，ＤＲＡＭ等の半導体メモリが使用される。
【００６８】
ここで、フレームメモリ１５から読出された画像信号は、信号処理部１２において画像圧縮等の信号処理が施された後、インタフェース１６を介して外部記憶部１８に保存される。この外部記憶部１８はインタフェース１６を介して供給される画像信号などの種々の信号を読み書きし、ＩＣメモリカードや光磁気ディスク等により構成される。ここで外部記憶部１８として、モデムカードやＩＳＤＮカードが使用されれば、ネットワークを経由して画像信号を直接遠隔地の記録媒体に送信することもできる。
【００６９】
また、逆に外部記憶部１８に記録された画像信号の読出しは、インタフェース１６を介して信号処理部１２へ画像信号が送信され、信号処理部１２において画像伸長が施されることによって行われる。一方、外部記憶部１８及びフレームメモリ１５から読出された画像信号の表示は、信号処理部１２において画像信号に対してデジタル−アナログ変換（Ｄ／Ａ変換）や増幅などの信号処理を施した後、インタフェース１６を介して表示部１７に送信することにより行われる。ここで、表示部１７は、インタフェース１６を介して供給された画像信号に応じて画像を表示し、例えばデジタルカメラ１の筐体に設置された液晶表示装置により構成される。
【００７０】
図５は、復号側の画像処理装置に相当するパーソナルコンピュータ３１のハードウェア構成を概略的に示すブロック図である。図５に示すように、コンピュータ３１は、当該コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３２を備えている。このＣＰＵ３２には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３３と、各種データを書換え可能に記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３４とがバス３５で接続されている。ＲＡＭ３４は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ３２の作業エリアとして機能し、例えば入力バッファ等の役割を果たす。
【００７１】
さらにバス３５には、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）３６と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３８と、相手方となるコンピュータとネットワーク３９との通信を司る通信制御装置４０と、キーボードやマウスなどの入力装置４１と、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）である表示装置４２とが、図示しないＩ／Ｏを介して接続されている。
【００７２】
そして、パーソナルコンピュータ３１の場合であれば、ネットワーク３９を介してサーバからダウンロードした圧縮符号化された符号データは、ＨＤＤ３６に格納されることになる。
【００７３】
また、ＣＤ−ＲＯＭ３７は、本発明の記憶媒体を実施するものであり、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や各種コンピュータソフトウェアが記憶されている。ＣＰＵ６は、ＣＤ−ＲＯＭ３７に記憶されているコンピュータソフトウェアをＣＤ−ＲＯＭドライブ２８で読み取り、ＨＤＤ３６にインストールする。
【００７４】
なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、ＦＤなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置３０を介してインターネットなどのネットワーク３９からコンピュータソフトウェアをダウンロードし、ＨＤＤ３６にインストールするようにしてもよい。この場合に、送信側のサーバでコンピュータソフトウェアを記憶している記憶装置も、本発明の記憶媒体である。なお、コンピュータソフトウェアは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００７５】
このような構成のデジタルカメラ１、コンピュータ３１には、コンピュータソフトウェアの一つとして、画像を処理する画像処理プログラムが記憶されている。この画像処理プログラムは本発明のプログラムを実施するものである。そして、この画像処理プログラムに基づいてＣＰＵが実行する処理により、デジタルカメラ１、コンピュータ３１の各部の各種機能を実現する。その一つとして、図１を参照して説明したＪＰＥＧ２０００アルゴリズムの各機能ブロックを備え、前述のようなＪＰＥＧ２０００アルゴリズムにより画像データの圧縮符号化、又は、符号データの復号化を行う。即ち、図１に示したような圧縮符号化手段及び復号化手段の機能は、ＨＤＤに記憶されているプログラムに基づいてＣＰＵが行う処理により実行される（もっとも、論理回路等を利用したハードウェア構成により実行させてもよい）。
【００７６】
［デジタルカメラにおける画像符号化処理］
本実施の形態のデジタルカメラ１は、基本的にＪＰＥＧ２０００アルゴリズムを利用して画像データの圧縮符号化を行うものであり、その際、ユーザの必要性・目的に応じた耐性を付与した電子透かしを埋め込むものである。
【００７７】
デジタルカメラ１においてこのような画像符号化処理を行うＪＰＥＧ２０００アルゴリズムによる圧縮符号化手段を適宜簡略化して書き直すと、図６のように示すことができる。即ち、撮像部１１から画像データの入力を受付ける入力部５１、受付けた画像データに対して色空間変換等の処理を経た後、２次元ウェーブレット変換処理を行う２次元ウェーブレット変換部５２（１０２に相当）、変換された離散ウェーブレット変換係数に対して効率のよい圧縮を行うためにそのダイナミックレンジを削減するポスト量子化等の非可逆な量子化処理を行う係数量子化部５３（１０３に相当）、量子化された離散ウェーブレット変換係数に対して前述のエントロピー符号化（係数モデリング＋算術符号化）等の可逆圧縮符号化処理を行う可逆圧縮符号化部５４（１０４に相当）、符号化された符号データの並べ替え処理等を行い、必要箇所に出力する符号データ出力部５５（１０５に相当）による圧縮符号化手段５６を有する。ここに、可逆圧縮符号化部５４の“可逆圧縮符号化”とは、変換しても完全に元に戻せる変換処理のことをいい、前述の算術符号化等の処理が該当する。
【００７８】
このような通常のＪＰＥＧ２０００アルゴリズムによる圧縮符号化手段５６の機能に加え、本実施の形態では、圧縮符号化手段５６により可逆圧縮符号化される直前のデータ、ここでは、係数量子化部５３により量子化された離散ウェーブレット変換係数に対して、符号化された電子透かしデータを埋め込む電子透かし埋め込み手段又は電子透かし埋め込み機能として作用する電子透かし埋め込み部５７が付加されている。この電子透かし埋め込み部５７による処理等についての詳細は後述するが、ここでは、たたみ込み符号化部５８において元の画像データに関する分割領域＝ブロック毎の画像統計値（平均値、分散値等）を種（タネ）にした乱数値により生成されたたたみ込み符号を電子透かしデータとして用いて埋め込むものである。
【００７９】
［パソコンにおける符号復号化処理］
本実施の形態のパーソナルコンピュータ３１は、デジタルカメラ１から直接的に、或いは、プロバイダ、サーバ等から供給されるＪＰＥＧ２０００アルゴリズムによる符号データをＪＰＥＧ２０００アルゴリズムにより復号化するものであり、このような符号復号化処理を行うＪＰＥＧ２０００アルゴリズムによる復号化手段を適宜簡略化して書き直すと、図７のように示すことができる。即ち、デジタルカメラ１等から配布される前述のように、電子透かしデータが埋め込まれた符号データの入力を受付ける符号データ入力手段又は符号データ入力機能として作用する入力部６１に対して、受付けた符号データに対してエントロピー復号化処理等の可逆圧縮符号の復号化処理を行う可逆圧縮符号の復号化部６２、２次元ウェーブレット逆変換等を行って元の画像データに復元する２次元ウェーブレット逆変換部６３（１０３，１０２，１０１等に相当）による復号化手段６４を有する。
【００８０】
加えて、復号化部６２と２次元ウェーブレット逆変換部６３との間には、符号データ中に埋め込まれている電子透かしデータを復号するための電子透かし復号部６５が付加されている。この電子透かし復号部６５の処理等の詳細についても後述するが、たたみ込み方式に対して対をなす復号化方式として周知のビタビ（Ｖｉｔｅｒｂｉ）復号方式が用いられている。また、電子透かし復号部６５から得られるビタビ復号信号と、復号された画像データに関する分割領域＝ブロック毎の画像統計値（平均値、分散値等）とを比較照合することにより、電子透かしの改ざんの有無等をチェックする照合部６６も付加されている。
【００８１】
以下、埋め込み側・復号側で対応する各処理に分けて順に説明する。
【００８２】
［電子透かし埋め込み処理−電子透かし抽出照合処理］
この処理は、図６にあっては、入力部５１、２次元ウェーブレット変換部５２、係数量子化部５３、電子透かし埋め込み部５７の処理であり、図７にあっては、電子透かし復号部６５及び２次元ウェーブレット逆変換部６３の処理である。
【００８３】
この処理に関しては、基本的には、ＪＰＥＧ２０００のウェーブレット変換の特徴及び前述の非特許文献１，２の方式を利用するものである。即ち、ウェーブレット変換によれば、画像データを周波数成分に分割した場合、サブバンドＬＬ，ＬＨ，ＨＬ，ＨＨの各成分に分割することができる。ここに、サブバンドＬＬは原画像の解像度を１／２にした画像を表現する最低周波成分であり、サブバンドＬＨ，ＨＬ，ＨＨは画像の横、縦、斜め方向の差分情報を表現する周波数成分であり、サブバンドＨＨが最高周波成分である。このうち、サブバンドＬＬは原画像の特徴を大きく表しているため、サブバンドＬＬに情報を埋め込むと、埋め込み後の画像に顕著な変化が出やすく、一方、サブバンドＨＨは一般的な画像変換処理や画像圧縮処理により取り除かれてしまうので、情報の埋め込みには向いていないものの、情報を埋め込んでも画像には変化が出にくいので埋め込み情報量を増やすには必要な場所である。
【００８４】
そこで、一般的には、非特許文献１中にも記載されているように、サブバンドＬＨ又はＨＬなる箇所のウェーブレット変換係数に情報を埋め込むことが好適といえるが、サブバンドＬＨは図８（ａ）に示すように原画像の水平方向の変化量を表しており、水平方向のウェーブレット変換中はサブバンドＬＬに対して垂直方向に位置するＬＨ画像が類似し、サブバンドＨＬは図８（ｂ）に示すように原画像の垂直方向の変化量を表しており、垂直方向のウェーブレット変換中はサブバンドＬＬに対して水平方向に位置するＨＬ画像が類似する特性を持つ。そして、非特許文献１の場合と同様に、これらのサブバンドＬＨとＨＬとの局所的な画素の値の和の大小関係を利用して電子透かしデータを埋め込むことを基本とする。
【００８５】
もっとも、非特許文献１等では、例えば撮像部１１から入力されるｒａｗデータであるＲＧＢデータを対象としているが、本実施の形態では、色空間変換処理によりＲＧＢ→ＹＣｂＣｒ（ＹＵＶ）変換されたＹＵＶデータのウェーブレット変換係数を対象として電子透かしデータを埋め込むように改良しているものである。より具体的には、輝度成分Ｙ，色差成分Ｃｂ（Ｕ），Ｃｒ（Ｖ）の重要度（輝度成分Ｙは画質に大きく影響する）に応じた一般的な変換例である４：２：２ＹＵＶへの適用例とされている。
【００８６】
そこで、例えば図９に示すように、１６×１６画素の色変換された原画像（Ｙ０ＵＹ１Ｖ）の各々についてウェーブレット変換を施してサブバンドＬＬ２，ＬＨ２，ＨＬ２，ＨＨ２（第２階層の例）に周波数分割したウェーブレット変換係数に関して、輝度成分Ｙ０，Ｙ１にはなるべく電子透かし情報を埋め込まないようにするため非特許文献１に準じてサブバンドＬＨ２，ＨＬ２の何れかの領域にそれらの局所的な画素の値の和の大小関係を利用して電子透かしデータを埋め込むものとする一方、画質への影響の少ない色差成分Ｕ，Ｖにはより多くの電子透かし情報を埋め込むようにするため非特許文献２に準じてサブバンドＨＨ２をも考慮してサブバンドＬＨ２，ＨＨ２又はサブバンドＨＬ２，ＨＨ２の一方の組合せの領域にそれらの局所的な画素の値の和の大小関係を利用して電子透かしデータを埋め込むようにしたものである。図９中に示す＋，−の表記は非特許文献１中のものと同様であり、非特許文献２中のＰ，Ｑに相当し、演算処理等はこれらの非特許文献１，２の場合と同様であるので、その詳細は省略する。
【００８７】
よって、ウェーブレット変換係数中に電子透かしデータを埋め込む手法として、基本的には、非特許文献１，２等の方式を利用しているものの、色分解された４：２：２ＹＵＶデータを対象とし、輝度成分Ｙと色差成分Ｕ，Ｖとで電子透かしデータ量を異ならせているので、画質を落とすことなく、電子透かしとして埋め込むデータ量を４倍に増大させることができる。よって、基本的に電子透かし量が最重視される改ざん防止用に効果的な上に、著作権保護用等であっても画質劣化が少ないことが判る。
【００８８】
［たたみ込み符号−ビタビ復号方式］
本実施の形態では、電子透かしとして埋め込むデータに関して、ブロック符号化変調技術、符号理論等で周知なたたみ込み符号−ビタビ復号の組合せを利用するものであり、この処理は、図６にあっては、たたみ込み符号化部５８の処理であり、図７にあっては、電子透かし復号部６５の処理である。
【００８９】
まず、たたみ込み符号に関しては、例えば、“符号理論入門”岩垂好裕著、昭晃堂‘９７なる文献中に記載されている図１０に示すような演算処理を利用することができる。図中、Ｉｋは元の信号、Ｃｍｎは算出された信号、＋は排他的論理和演算を表している。図示例は、２個のメモリを使用したたたみ込み拘束長２、符号化率１／２の例を示しており、２つの信号
Ｃ１ｊ＝Ｉｊ＋Ｉｊ−２
Ｃ０ｊ＝Ｉｊ＋Ｉｊ−１＋Ｉｊ−２
が算出される。このようなたたみ込み符号を用いることにより、荒っぽい処理がされてもデータが残り、結果として、耐性が高いことがよく知られており（例えば、ＮＡＳＡ宇宙技術でも利用）、信号Ｃｉｊのｉ，ｊの数、Ｉｊ＋Ｉｊ−２の数が多いほど、即ち、たたみ込み拘束長の値が大きいほど耐性が大きいことも知られており、このたたみ込み拘束長の値を可変させることにより耐性の程度を調整することができる。
【００９０】
ここに、図１０に示したたたみ込み演算方式の演算例を示すと、表１のようにまとめることができる（これは、同文献中にも記載されている）。
【００９１】
【表１】
2004235682.tif 000003
【００９２】
この結果、このようなたたみ込み拘束長２、符号化率１／２の方法に関して、逆変換による画素値を算出すると（変数（独立）：１２変数Ｃｍ，ｎ）、
Ｉｊ＝Ｃ０，（ｊ＋１）＋Ｃ１，（ｊ＋１）
Ｉｊ＝Ｃ１，ｊ    ＋Ｃ０，（ｊ−１）  ＋Ｃ１，（ｊ−１）
Ｉｊ＝Ｃ１，（ｊ＋２）＋Ｃ０，（ｊ＋３）  ＋Ｃ１，（ｊ＋３）
Ｉｊ＝Ｃ０，（ｊ＋１）＋Ｃ０，ｊ    ＋Ｃ１，ｊ      ＋Ｃ０，（ｊ＋２）  ＋Ｃ１，（ｊ＋２）
Ｉｊ＝Ｃ０，（ｊ＋２）＋Ｃ０，（ｊ＋３）  ＋Ｃ０，（ｊ＋４）    ＋Ｃ１，（ｊ＋４）
となる。これにより、たたみ込み拘束長２、符号化率１／２の方法に関して５票による多数決が適用でき、信頼性が向上することが裏付けられる。例えば、１信号の読取り正解率が９２％以上の場合であれば、５票の多数決により９９％以上を復元し得る信頼性の高いものとなる。
【００９３】
ちなみに、特許文献２等で用いられている単純多数決方式と対比した結果を示すと、表２に示すようになる。
【００９４】
【表２】
2004235682.tif 000004
【００９５】
即ち、多数決に３票用いる単純多数決方式の場合、情報量として元の３倍必要として９８．２％の信頼性に留まるのに対して、前述のたたみ込み拘束長２の場合で情報量として元の２倍で５票による多数決、９９．５％の信頼性が得られ、さらには、たたみ込み拘束長３の場合で情報量として元の２倍で７票による多数決、９９．９％の信頼性が得られ、たたみ込み拘束長４以上の場合で情報量として元の２倍で９票による多数決、信頼性向上がみられたものである。従って、強い耐性が要求される著作権保護用の電子透かしの場合であれば、符号化率は１／２、たたみ込み拘束長を６の如く設定する一方、耐性がある程度低いことが要求される改ざん検出用の電子透かしの場合であれば、符号化率は１／２で一律とするものの、たたみ込み拘束長を２〜３の如く設定すれば、各々の目的に応じた耐性レベルの設定が可能となる。
【００９６】
電子透かしとして埋め込まれたこのようなたたみ込み符号を復号・抽出する電子透かし復号部６５での処理として行われる復元性の高いビタビ復号処理は、たたみ込み符号と対をなす復号方式として周知であり（例えば、前述の文献や特開２０００−１７４６２８公報等参照）、このような一般的な技術を利用すればよいので、詳細説明は省略する。図１１は前述したようにたたみ込み符号の拘束長が２、符号化率が１／２の場合のビタビ復号の基本的な一般図を示すもので（前述の文献中に記載されている）、図１１（ａ）は電子透かし復号部６５の内部状態を各時刻毎に示した格子状表現によるトレリス線図、図１１（ｂ）はその状態遷移図である。
【００９７】
［電子透かしデータの供与体Ｄｏｎｏｒと受容体Ａｃｃｅｐｔｏｒとの分離］
この処理は、図６にあっては、入力部５１及びたたみ込み符号化部５８の処理であり、図７にあっては、照合部６６の処理である。即ち、分割された或る矩形領域＝タイル又はブロックの統計計算値に基づき算出された電子透かし用のたたみ込み符号を、当該矩形領域とは分離された別の矩形領域に復元可能な対応付けをもって割り当てるようにしたものである（割り当て領域変更手段、割り当て領域変更機能）。基本的には、改ざんの発見を可能にするために、分割された或る矩形領域＝タイル又はブロックの統計計算値（平均値でも分散値でもよい）を種（タネ）にした乱数値を電子透かしのデータ（最終的にはたたみ込み符号が用いられる）に使用するが、このようにして求めた電子透かしデータを、当該画像計算値を求めた矩形領域Ｄｏｎｏｒとは異なる別の矩形領域Ａｃｃｅｐｔｏｒに埋め込むように埋め込み領域を割り当てることにより、同一の矩形領域に埋め込むセルフ方式の場合よりも改ざん発見の感度が向上するようにしたものである。例えば、８×８画素単位のタイル又はブロックを考えた場合、
Ｄｏｎｏｒ：ｎ×２（ＹＵ又はＹＶ）ｂｉｔの情報…平均値、分散値等
Ａｃｃｅｐｔｏｒ：２ｂｉｔの情報
→１−（Ｄｏｎｏｒの画像情報）×（Ａｃｃｅｐｔｏｒ情報）
＝１−１／２２ｎ＋２
の情報の信頼性が得られる。例えば、ｎ＝２の場合であれば、９８％となる。即ち、図１２に略図的に示すように、或る（ｎ−１）ブロックから得られた統計データ（平均値など）を別のブロックであるｎブロックへの供与情報とする一方、ｎブロックでは（ｎ−１）ブロックからの供与情報に基づく電子透かしデータを受容情報として埋め込み、（ｎ＋１）ブロック以降についても同様に処理するというものである。この方式によれば、何れのブロックの情報が壊されても、辻褄が合わなくなるので、改ざんされたことを確実に発見できることとなる。この場合、元の状態に復元できるように可逆性が必要であり、かつ、ＤｏｎｏｒとＡｃｃｅｐｔｏｒとの対応付けが必要であり、より実際的には、図１３に示すように、各々ウェーブレット変換の対象となるように複数に分割された各ブロックに関して、矢印で示すように例えば１つ上のブロックをＤｏｎｏｒとし１つ下のブロックをＡｃｃｅｐｔｏｒとする対応関係として電子透かしを埋め込むようにすれば、改ざんされた場合の改ざんを発見しやすいものとなる。
【００９８】
これに対して、自己の矩形領域に埋め込むセルフタイプの場合、１−１／２２＝７５％の情報の信頼性に留まるものである。改ざんがあった場合、共倒れになりやすいためである。
【００９９】
［電子透かしデータの耐性をファジー化する処理］
この処理は、図６にあっては、たたみ込み符号化部５８において統計計算値に基づき算出されたたたみ込み符号のデータをファジー表現するためのファジー処理を施す処理であり、図７にあっては、照合部６６の処理である。このファジー化処理は、例えば、前述したように電子透かしの情報の供与体（矩形領域＝ブロック）と受容体（矩形領域＝ブロック）とを分離する方式で用いる平均値、分散値等の統計計算値が非可逆圧縮によって低下する信頼性を補完するための技術であり、例えば、２ｂｉｔの場合であれば、図１４に数量表現の基本形として模式的に示すように、数量を表すｂｉｔ情報の変化が滑らかとなるように、数値が１増える毎に１ｂｉｔずつしか変化させない表現内容を取るようにすればよい。即ち、通常のビット表現であれば、０（意味）＝００（ｂｉｔ）、１（意味）＝０１（ｂｉｔ）、２（意味）＝１０（ｂｉｔ）、３（意味）＝１１（ｂｉｔ）となるが、ファジー化により図１４中に示すような表現内容に変更するものである（２，３の対応関係が崩れる）。
【０１００】
また、３ｂｉｔの場合も、図１５に示すように数値が１増える毎に１ｂｉｔずつ変化する表現内容を取るようにすればよい。即ち、通常のビット表現であれば、０（意味）＝０００（ｂｉｔ）、１（意味）＝００１（ｂｉｔ）、２（意味）＝０１０（ｂｉｔ）、３（意味）＝０１１（ｂｉｔ）、４（意味）＝１００（ｂｉｔ）、５（意味）＝１０１（ｂｉｔ）、６（意味）＝１１０（ｂｉｔ）、７（意味）＝１１１（ｂｉｔ）となるが、ファジー化により図１５中に示すような表現内容に変更するものである（２〜６の対応関係が崩れる）。この３ｂｉｔの場合のファジー化によれば、上述のような非可逆圧縮に伴う画質低下、埋め込みデータの信頼性低下をハミング距離で判断することができる。即ち、ハミング距離が小さい場合には画像データの改ざんとはみなさず、ハミング距離が大きい場合のみ改ざんありと判断することができる。例えば、図１５に示す例であれば、１ｂｉｔの不一致があっても改ざんとはみなさないように判断することができる。
【０１０１】
このように、ファジー処理によりたたみ込み符号のデータを表現するビット数が、例えば２ビット、３ビットの如く、可変設定自在であるので、電子透かしとしてのデータをファジー化する処理において改ざん発見レベルの調整が可能となる。よって、改ざん検出用の電子透かしの場合であれば、そのデータ耐性のファジー化のビット数を３ｂｉｔに設定すれば改ざん検出のより一層の適正化を図れる一方、著作権保護用の電子透かしの場合であれば、データ耐性のファジー化のビット数を２ｂｉｔに設定すれば情報量を少しでも減らして画質劣化の抑制を図ることができる。
【０１０２】
結局、本実施の形態においては、２次元ウェーブレット変換係数への電子透かしの埋め込み、耐性調整が可能なたたみ込み符号−ビタビ復号の組合せに加えて、電子透かしとなるたたみ込み符号のデータ耐性のファジー化（Ｇｒａｙ符号の類）を組合せることで、電子透かし埋め込みによる画質の劣化を回避しており、電子透かしデータの耐性を高めるために画質を変換させるのに代えて電子透かしとなるたたみ込み符号の統計処理値に基づいているので、画質劣化が少ない上に電子透かしの情報量の増大を図ることもでき、用途に応じた電子透かしとすることができる。よって、画質劣化の抑制や電子透かしの情報量の増大を図れる点で、特許文献１等に示される従来技術に対して、目的に応じた最適な電子透かしとなる。
【０１０３】
【発明の効果】
請求項１，８記載の発明によれば、２次元ウェーブレット変換係数への電子透かしの埋め込み、耐性調整が可能なたたみ込み符号−ビタビ復号の組合せに加えて、電子透かしとなるたたみ込み符号のデータ耐性のファジー化を組合せることにより、電子透かし埋め込みによる画質の劣化を回避しており、電子透かしデータの耐性を高めるために画質を変換させるのに代えて電子透かしとなるたたみ込み符号の統計処理値に基づいているので、画質劣化が少ない上に電子透かしの情報量の増大を図ることもでき、用途に応じた電子透かしとすることができる。
【０１０４】
請求項２，９記載の発明によれば、請求項１，８記載の発明において、統計計算値に基づく乱数値をたたみ込み符号とすることにより、電子透かしとしての特性をより適正に発揮させることができる。
【０１０５】
請求項３，１０記載の発明によれば、請求項１，２，８，９記載の発明において、例えば、符号化率は１／２の如く一律とするが、拘束長に関しては、例えば電子透かしの情報量が重視され耐性は弱めの方が好ましい改ざん検出用の電子透かしの場合であれば、たたみ込み拘束長を２〜３程度に設定する一方、画質及び耐性が重視される著作権保護用の電子透かしの場合であれば、たたみ込み拘束長を６程度に設定することで、各々の目的に適した電子透かしとすることができる。
【０１０６】
請求項４，１１記載の発明によれば、請求項１ないし３，８ないし１０の何れか一記載の発明において、電子透かしとしてのデータ耐性をファジー化する処理が、たたみ込み数値の値が１増える毎にその意味を表すビット情報が１ビットずつ変化する表現形態とする処理であるので、ビット情報の変化を滑らかにすることができ、例えば、統計計算値が非可逆圧縮により低下することを補完することが可能となる。
【０１０７】
請求項５，１２記載の発明によれば、請求項４，１１記載の発明において、ファジー処理によりたたみ込み符号のデータを表現するビット数が、例えば２ビット、３ビットの如く、可変設定自在であるので、電子透かしとしてのデータをファジー化する処理において改ざん発見レベルの調整が可能となる。
【０１０８】
請求項６，１３記載の発明によれば、請求項１ないし５，８ないし１２の何れか一記載の発明において、電子透かし用のたたみ込み符号を取得するための供与体となる矩形領域と、当該たたみ込み符号が埋め込まれる受容体となる矩形領域とを同一とはせず分離することにより、何れの矩形領域のデータが壊されても辻褄が合わなくなるので、改ざんされたことを発見できることとなり、改ざん発見の感度を向上させることができる。
【０１０９】
請求項７，１４記載の発明によれば、請求項１ないし６，８ないし１３の何れかに記載の発明により埋め込まれた電子透かしに対して適正に復号、検証処理を行わせることができる。
【０１１０】
請求項１５記載の発明によれば、請求項８ないし１４の何れか一記載の発明と同様の効果を奏することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の前提となるＪＰＥＧ２０００方式の基本となるアルゴリズムを実現するシステムの機能ブロック図である。
【図２】デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す説明図である。
【図３】コードストリームを示す説明図である。
【図４】画像処理装置としてのデジタルカメラのハードウエア構成を概略的に示すブロック図である。
【図５】パーソナルコンピュータのハードウェア構成を概略的に示すブロック図である。
【図６】デジタルカメラにおける画像圧縮符号化の処理系を書き直して示す機能的ブロック図である。
【図７】パーソナルコンピュータにおける符号復号化の処理系を書き直して示す機能的ブロック図である。
【図８】ウェーブレット変換の特徴を示す模式的な説明図である。
【図９】ＹＵＶデータに関する電子透かし埋め込み方式を示す模式的な説明図である。
【図１０】文献から抽出したたたみ込み符号方式の基本を示す模式的説明図である。
【図１１】文献から抽出したビタビ復号方式の基本を示す模式的説明図である。
【図１２】電子透かしデータの供与体と受容体とを分離する方式を示す模式的説明図である。
【図１３】ブロックへの適用例を示す全体的な模式的説明図である。
【図１４】２ｂｉｔの場合のデータのファジー化方式を示す説明図である。
【図１５】３ｂｉｔの場合のデータのファジー化方式を示す説明図である。
【符号の説明】
１，３１  画像処理装置
５７      埋め込み手段、埋め込み機能
５８      たたみ込み符号算出手段、たたみ込み符号算出機能
６５      ビタビ復号手段、ビタビ復号機能
６６      照合手段、照合機能
【図１】
2004235682.tif 000005
【図２】
2004235682.tif 000006
【図３】
2004235682.tif 000007
【図４】
2004235682.tif 000008
【図５】
2004235682.tif 000009
【図６】
2004235682.tif 000010
【図７】
2004235682.tif 000011
【図８】
2004235682.tif 000012
【図９】
2004235682.tif 000013
【図１０】
2004235682.tif 000014
【図１１】
2004235682.tif 000015
【図１２】
2004235682.tif 000016
【図１３】
2004235682.tif 000017
【図１４】
2004235682.tif 000018
【図１５】
2004235682.tif 000019