(57)【特許請求の範囲】
【請求項１】
入手した画像の画像情報分析手段、当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する行列演算手段、当該画像情報から初期推定画像ベクトルを算出する初期推定画像ベクトル演算手段、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する残差ベクトル演算手段、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算手段、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する自乗誤差値判定手段、修正ベクトルを演算する修正ベクトル演算手段、逆回転画像を算出する逆回転画像演算手段、当該逆回転画像演算手段の出力を当該推定画像ベクトル演算手段の演算値に加算する手段、当該自乗誤差値判定手段が、当該自乗誤差値が最小となった事を検出した場合に、当該最小自乗誤差値から原画像情報の推定値を求める手段、及び当該原画像情報の推定画像情報から電子透かし情報を読出し、表示する電子透かし情報表示手段とから構成されている事を特徴とする電子透かし情報検出装置。
【請求項２】
当該画像情報は、静止画像情報である事を特徴とする請求項１記載の電子透かし情報検出装置。
【請求項３】
当該画像情報は、回転変形処理されたものと推定される画像情報である事を特徴とする請求項１又は２に記載の電子透かし情報検出装置。
【請求項４】
当該画像情報は、当該画像情報と実質的若しくは近似した画像に関する出所情報が確認出来るものである事を特徴とする請求項１乃至３の何れかに記載の電子透かし情報検出装置。
【請求項５】
当該自乗誤差値判定手段は、疑似逆行列或いはヤコビ法による数値解法手段を適用して当該最小自乗誤差値を演算する様に構成されている事を特徴とする請求項１乃至４の何れかに記載の電子透かし情報検出装置。
【請求項６】
画像情報を入手する工程、当該入手した画像情報が回転変形処理を受けているか否かを判断する工程、回転変形された当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する工程、当該画像情報から初期推定画像ベクトルを算出する初期推定画像ベクトル算出工程、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する工程、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算する工程、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する工程、当該残差ベクトル自乗誤差値が、最小で無いと判断された場合には、修正ベクトルを演算し、逆回転画像を算出する工程、及び当該算出された逆回転画像情報を当該推定画像ベクトル演算手段の演算値に加算する工程、必要に応じて残差ベクトル自乗誤差演算する工程を繰り返す工程、当該残差ベクトル自乗誤差値が、最小であると判断された場合には、当該最小自乗誤差値から原画像情報を推定する工程、及び当該推定された当該原画像情報から電子透かし情報を読み出す工程、とから構成された事を特徴とする電子透かし情報検出方法。
【請求項７】
当該画像情報は、静止画像情報である事を特徴とする請求項６記載の電子透かし情報検出方法。
【請求項８】
当該画像情報は、回転変形処理されたものと推定される画像情報である事を特徴とする請求項６又は７に記載の電子透かし情報検出方法。
【請求項９】
当該画像情報は、当該画像情報と実質的若しくは近似した画像に関する出所情報が確認出来るものである事を特徴とする請求項６乃至８の何れかに記載の電子透かし情報検出装置。
【請求項１０】
当該自乗誤差値判定手段は、疑似逆行列或いはヤコビ法による数値解法手段を適用して当該最小自乗誤差値を演算する様に構成されている事を特徴とする請求項６乃至９の何れかに記載の電子透かし情報検出方法。
【請求項１１】
画像情報を入手する第１の工程、当該入手した画像情報が回転変形処理を受けているか否かを判断する第２の工程、回転変形された当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する第３の工程、当該画像情報から初期推定画像ベクトルを算出する第４の工程、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する第５の工程、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算する第６の工程、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する第７の工程、当該残差ベクトル自乗誤差値が、最小で無いと判断された場合には、修正ベクトルを演算する第８の工程、当該修正ベクトルから逆回転画像を算出する第９の工程、当該算出された逆回転画像情報を当該推定画像ベクトル演算値に加算する第１０の工程、必要に応じて残差ベクトル自乗誤差演算する工程を繰り返す第１１の工程、当該残差ベクトル自乗誤差値が、最小であると判断された場合には、当該最小自乗誤差値から原画像情報を推定する第１２の工程、及び当該推定された当該原画像情報から電子透かし情報を読み出す工程、とから構成された電子透かし情報検出方法を実行する為のプログラムを記録している記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子透かし情報検出装置及び電子透かし情報検出方法に関するものであり、特に詳しくは、電子透かし情報が挿入された原画像情報が、何らかの不正な行為によって、消去されたり、変形或いは改竄された場合でも、当該原画像情報に最初に挿入されていた電子透かし情報を検出することが可能な電子透かし情報検出装置及び電子透かし情報検出方法に関するものである。
【０００２】
【従来の技術】
静止画電子透かし（ｓｔｉｌｌ  ｐｉｃｔｕｒｅ  ｄｉｇｉｔａｌ  ｗａｔｅｒｍａｒｋ）」技術は静止画に著作者の固有情報を密やかに埋め込み、所有権の所在を主張する技術として、従来から使用されて来ている。
又、近年、インターネットを利用してマルチメディア情報が盛んに流通するとともに電子透かしの応用は注目されているが、それとともに、いろいろな画像に埋め込んだ透かし情報を変形したり、改竄したり或いは消去してしまうことによって、著作権の侵害を回避しようとする、悪意のある不正行為が頻繁に発生しており、かかる不正行為を防止する方法の開発は急務となってきている。
【０００３】
処で、係る電子透かし情報が変形されたり、改竄されたり、或いは消去される事態が発生するのは、例えば、原画像情報を拡大変形処理或いは縮小変形処理、更には回転変形処理等の操作を意識的に実行する事によって、容易に当該電子透かし情報が消去されたり、変形或いは改竄されたりする事が知られている。
中でも、上記した原画像情報を回転変形する事によって、当該電子透かし情報は、容易に消去されやすいという性格を有している。
つまり、当該電子透かし情報を埋め込んだ画像をある角度で回転させて変形処理を行うと、当該電子透かし情報は正確的に検出できなくなると言うことである。
【０００４】
つまり、上記の様な原画像情報に対して変形処理を行った場合に、画像情報そのものは、隣接する画素同士が同じ画像情報をもっている事が多いので、当該変形処理をした場合でも、画質は多少低下するとしても、原画像情報そのものが完全に失われる事はないが、電子透かし情報は、０、１のバイナリ値がランダムに配列されるものであるので、当該変形処理操作を行う際の平均値処理によって、消去されてしまい、元の電子透かし情報が読めなくなるとか読めたとしても、元の電子透かし情報とは異なった電子透かし情報となってしまう事が多い。
その為、不正行為を行おうとする者は、画質そのものは見るに耐える状態であって、電子透かし情報を消去しえるので、かかる手段を採用する事が頻繁に行われている。
【０００５】
現在、かかる電子透かしへの不正行為（攻撃問題）を行うためによく使う方法は、アフィン変換方式に対しては、例えば、回転変形処理と拡大・縮小変形処理が考えられる。
又、回転変形処理と拡大・縮小変形処理に対してよく使われる方法は、アフィン変換方式の線形補間法と最近傍法が使用される。
つまり、係る不正行為（攻撃問題）は、原画像に対して回転変形処理と拡大・縮小変形処理を行うことによって、原画像そのものには、大きなダメージはないが、当該埋め込んだ電子透かしの情報の強さは減らされ、検出できなくなる場合がある。
従って、従来では、係る不正行為に対する有効で確実な防御手段が無かった為、係る防御方法の開発が急がれていた。
【０００６】
【発明が解決しようとする課題】
従って、本発明の目的は、上記した従来技術の欠点を改良し、原画像情報に対して挿入された電子透かし情報を、当該原画像情報に、特に回転変形処理を施して、当該電子透かし情報を消去、或いは改竄・変形した画像情報から、原画像情報に埋め込まれていた元の電子透かし情報を確実に検出出来る方法及びその装置を提供するものである。
又、本発明に於ける主たる目的は、予め定められた電子透かし情報を含む静止画像である原画像情報に回転変形処理を実行した後に市場に出回っている当該不正処理された静止画像情報から、当該元の電子透かし情報を検出し、当該画像情報に対する著作権を不正な侵害行為から保護する為に必要な電子透かし情報検出装置及び電子透かし情報検出方法を提供するものである。
【０００７】
【課題を解決するための手段】
本発明は、上記した目的を達成する為、基本的には、以下に示す様な技術構成を採用するものである。
即ち、本発明に係る第１の態様としては、入手した画像の画像情報分析手段、当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する行列演算手段、当該画像情報から初期推定画像ベクトルを算出する初期推定画像ベクトル演算手段、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する残差ベクトル演算手段、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算手段、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する自乗誤差値判定手段、修正ベクトルを演算する修正ベクトル演算手段、逆回転画像を算出する逆回転画像演算手段、当該逆回転画像演算手段の出力を当該推定画像ベクトル演算手段の演算値に加算する手段、当該自乗誤差値判定手段が、当該自乗誤差値が最小となった事を検出した場合に、当該最小自乗誤差値から原画像情報の推定値を求める手段、及び当該原画像情報の推定画像情報から電子透かし情報を読出し、表示する電子透かし情報表示手段とから構成されている電子透かし情報検出装置であり、
【０００８】
又、本発明に於ける第２の態様としては、画像情報を入手する工程、当該入手した画像情報が回転変形処理を受けているか否かを判断する工程、回転変形された当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する工程、当該画像情報から初期推定画像ベクトルを算出する初期推定画像ベクトル算出工程、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する工程、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算する工程、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する工程、当該残差ベクトル自乗誤差値が、最小で無いと判断された場合には、修正ベクトルを演算し、逆回転画像を算出する工程、及び当該算出された逆回転画像情報を当該推定画像ベクトル演算手段の演算値に加算する工程、必要に応じて残差ベクトル自乗誤差演算する工程を繰り返す工程、当該残差ベクトル自乗誤差値が、最小であると判断された場合には、当該最小自乗誤差値から原画像情報を推定する工程、及び当該推定された当該原画像情報から電子透かし情報を読み出す工程、とから構成された電子透かし情報検出方法である。
【０００９】
更に、本発明にかかる第３の態様としては、画像情報を入手する第１の工程、当該入手した画像情報が回転変形処理を受けているか否かを判断する第２の工程、回転変形された当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する第３の工程、当該画像情報から初期推定画像ベクトルを算出する第４の工程、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する第５の工程、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算する第６の工程、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する第７の工程、当該残差ベクトル自乗誤差値が、最小で無いと判断された場合には、修正ベクトルを演算する第８の工程、当該修正ベクトルから逆回転画像を算出する第９の工程、当該算出された逆回転画像情報を当該推定画像ベクトル演算値に加算する第１０の工程、必要に応じて残差ベクトル自乗誤差演算する工程を繰り返す第１１の工程、当該残差ベクトル自乗誤差値が、最小であると判断された場合には、当該最小自乗誤差値から原画像情報を推定する第１２の工程、及び当該推定された当該原画像情報から電子透かし情報を読み出す工程、とから構成された電子透かし情報検出方法を実行する為のプログラムを記録している記録媒体である。
【００１０】
【発明の実施の形態】
本発明に係る当該電子透かし情報検出装置及び電子透かし情報検出方法は、上記した様な技術構成を採用しているので、予め定められた電子透かし情報を含む静止画像である原画像情報に対して、第３者によって、回転変形処理等の不正行為が実行されて、当該電子透かし情報が消去された後に市場に出回っている当該不正処理された静止画像情報から、当該元の電子透かし情報を容易に検出し、当該市販の画像情報が、所定の電子透かし情報を有する原画像情報を不正に改竄、変形或いは消去する事によって、著作権者の了解なしに不正に販売されているか否かを識別する事が可能となるので、当該著作権を不正な侵害行為から保護する為に有用な手段となる。
【００１１】
【実施例】
以下に、本発明に係る当該電子透かし情報検出装置及び当該電子透かし情報検出方法の一具体例を図面を参照しながら詳細に説明する。
即ち、図１には、本発明に係る当該電子透かし情報検出装置１００の一具体例の構成を示すブロックダイアグラムであって、図中、入手した画像の画像情報分析手段１、当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する行列演算手段２、当該画像情報から初期推定画像ベクトルを算出する初期推定画像ベクトル演算手段３、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する残差ベクトル演算手段４、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算手段５、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する自乗誤差値判定手段６、修正ベクトルを演算する修正ベクトル演算手段７、逆回転画像を算出する逆回転画像演算手段８、当該逆回転画像演算手段の出力を当該推定画像ベクトル演算手段の演算値に加算する手段９、当該自乗誤差値判定手段６が、当該自乗誤差値が最小となった事を検出した場合に、当該最小自乗誤差値から原画像情報の推定値を求める手段１０、及び当該原画像情報の推定画像情報から電子透かし情報を読出し、表示する電子透かし情報表示手段１１、更には上記各手段の動作を総合的に管理制御する中央演算手段１２とから構成されている電子透かし情報検出装置１００が示されている。
【００１２】
本発明に於ける電子透かし情報検出装置に於いて検査の対象となる画像情報は静止画像情報である。
先ず、本発明に係る当該電子透かし情報検出方法に於ける当該電子透かし情報を消去あるいは変形改竄する方法の例を図２を使用して説明しておく。
即ち、原画像情報に埋め込まれた電子透かし情報を改竄したり変形したり、消去する方法としては、上記した様に、当該原画像情報を変形処理する事が一般的に知られており、その手法の一般的なものは、図２に示す様な二次元アフィン変換方法である。
【００１３】
当該二次元アフィン変換方法としては、図２（ａ）に示す平行移動型、図２（ｂ）に示す拡大・縮小型及び図２（ｃ）に示す回転型があるが、当該電子透かし情報を消去或いは変形・改竄する為には、専らぱら、図２（ｂ）の拡大・縮小型及び図２（ｃ）の回転型二次元アフィン変換方法が使用されている。
そして、二次元画像が図２（ａ）及び（ｂ）に示されるように自由に拡大、縮小、回転する二次元アフィン変換では、個々の画像画素の座標値は、任意の点（ｘ０、ｙ０）を中心として、次式１の様に示される。
【００１４】
【数１】
0003558120.tif 000002
ここで、Ｘ、Ｙとｘ、ｙは、それぞれアフィン変換前後の各画素位置の座標値を表わす。
【００１５】
本発明に於いては、上記した様に、特に、特に図２（ｃ）に示す回転型二次元アフィン変換方法により回転変形処理した電子透かし情報の消去或いは変形改竄に対する対向手段を確立する必要があることから、以後、当該画像情報の回転変形処理についてのみ説明する事にする。
つまり、上記式１で与えられたアフィン変換により、原点（０、０）を中心にした画像を角度Θで回転した後の各画素位置は、以下に示す式２で表わされる。
【００１６】
【数２】
0003558120.tif 000003
ところが、上記した式１及び式２の計算により得られたアドレス（ｘ、ｙ）は、図３（Ａ）に示されるように必ずしも入力画像の各画素（格子点）にならない。
その場合には、画質をよくするため線形補間法と呼ばれる方法を用いる。
【００１７】
この方法は、図３（Ａ）に示すように、求まったアドレスが格子点に一致しない場合、近傍の４個の格子点からの距離の比を求め、この比率で近傍４画素の濃度値から補間するものである。この濃度値の計算は、式３で与えられる。
【００１８】
【数３】
0003558120.tif 000004
ここで、〔ｘ〕、〔ｙ〕は、それぞれｘ、ｙを超えない整数である。
又、別の方法として、最近傍法が知られている。
処で、最近傍法は、図３（Ｂ）に示すように、（１）、（２）式により求めた画素の位置は入力画像の各格子にならない場合には、最も近い点の濃度を選択するという手法である。
【００１９】
最近傍法は、誤って隣の画素を取る場合もある。例えば、原画像にある一本線（一行）のデータは回転した後、隣接線（行）のデータを取る場合もある。
線形補間法は、最近傍法（最も近い点の濃度を選択するという手法）より良い画質が得られるが、埋め込んだ透かしに対して情報が平均されたり、強さが減らされたりする原因となる。
かかる現象が、上記した様に、当該原画像情報を回転変形処理する事によって、原画像情報に挿入された電子透かし情報が消去されたり変形或いは改竄せしめられたりする原因となる。
【００２０】
更に、再度当該既回転処理された画像を同一の方向に回転変形処理したり、更に、反対の方向に回転させて、もとの角度に戻す処理をした場合には、一層当該電子透かし情報の検出は困難になってくる。
処で、以上述べた画像の回転及び逆回転問題は、図４に示されるように、線形システムとなっている。
図４に於いて示されているＨとＨｔ  は、それぞれシステムマトリクス及びそのマトリクスの転置行列と呼ばれるものである。
今、原画像及び回転した画像のサイズをｍ×ｎ＝ｋとなると、システムマトリクスＨは、ｋ×ｋの行列となる。
【００２１】
上記関係から、原画像情報ｇを所定の角度回転処理して変形した回転した画像ｇ’はシステムマトリクスＨを使用する事によって、下記の式４として表示される事になる。
【数４】
ｇ’＝  Ｈｇ                      （４）
で示される事になる。
そして、当該式４に前記した式２及び式３を代入する事によって、以下の式５に示す様に変形される。
【００２２】
【数５】
0003558120.tif 000005
ここで、ｈ（ａ、ｂ）、（０≦ａ＜ｋ）、（０≦ｂ＜ｋ）はＨのエレメントであり、その値は、ｇ’（ｉ’，ｊ’）（ｉ’・ｎ＋ｊ’＝ａ）、ｇ（ｉ，ｊ）（ｉ・ｎ＋ｊ＝ｂ）、及び（３）式で決る。例えば、回転した画像の画素ｇ’（０，０）  は原画像の画素ｇ（ｉ，ｊ）  に対応している場合には、以下に示す式６の様に表される。
【００２３】
【数６】
0003558120.tif 000006
上記した式６により、前記したＨの一番目行の各エレメントは、以下の式７に示す様な値となる。
【００２４】
【数７】
0003558120.tif 000007
次に、所定の原画像情報を所定の角度で回転処理して変形させた画像情報を同じ角度で反対方向に回転させて、元の状態に戻す場合を考えると、その問題は、線形逆問題として捉える事が出来る。
【００２５】
即ち、所定の角度で回転した画像情報ｇ’からシステムマトリクスＨを用いて、元の画像、つまり原画像情報ｇを推定する事が出来る事になる。
このことは、所定の電子透かし情報が埋め込まれている原画像情報に、上記した様な回転変形処理を施して当該電子透かし情報を改竄或いは消去した画像情報が入手できれば、線形逆問題を解析してその解を求める事によって、原画像情報を推定する事が出来、同時に当初に埋め込んだ電子透かし情報を読み出せる可能性がある事を示唆している。
【００２６】
そこで、今、入手した回転変形処理されたと思われる画像情報ｇ’から原画像情報ｇを推定するに際して、先ず当該画像情報ｇ’から原画像情報の推定画像情報をｇ”とすると、当該推定画像ｇ”にとすると、当該推定画像ｇ”の推定の確からしさを図る尺度として、次式８に示す様な、当該システムマトリクスＨと当該推定画像ｇ”との積であるＨｇ”と不正に回転変形処理された画像情報ｇ’との自乗誤差値Ｉを使用することが出来る。
【００２７】
【数８】
0003558120.tif 000008
従って、上記の線形逆問題を解くことは、上記した式８の自乗誤差値Ｉを最小にするような原画像の推定画像情報ｇ”を推定することになる。
一般には、当該式８に於ける最小自乗誤差法を用いてその解を得る手段としては、疑似逆行列を用いることで、当該推定画像情報ｇ”は、次式９により求められる。
【００２８】
【数９】
0003558120.tif 000009
ここで、Ｈ＋  ＝（ＨＴ  ・Ｈ）ＨＴ  はシステムの疑似逆行列と呼ばれる。
当該疑似逆行列を用いる方法は、行列の簡単な掛け算で答えを得ることができるが、処理の対象となる画像が大きいときは、この逆行列を求めることは非常に困難である。従って実際の画像処理などでは、しばしば次に述べる数値解法を用いることが多い。
【００２９】
その為、式８に於ける最小自乗誤差法の解、つまり当該原画像情報の推定画像情報ベクトルｇ”を求める別の方法として、最急降下法、共役勾配法などの数値解析手法があるが、ヤコビ法（Ｊａｃｏｂｉ）を使用する事が望ましい。
従って、以下の説明に於いては、当該ヤコビ法を使用した式８に於ける最小自乗誤差法の解を求める別の方法に付いて説明する。
【００３０】
ヤコビ法の基本アルゴリズムは、以下のとおりである。
（１）任意の初期推定画像情報ベクトルｇ”０  を与える。
（２）得られた初期推定画像情報ベクトルｇ”０  を用いて、式４により、その回転画像ベクトルＨｇ”０  を求める。
（３）実際に得られている回転画像情報ｇ’との差を取ることで、残差ベクトルｇ’−Ｈｇ”０  を得る。
（４）当該残差ベクトル（ｇ’−Ｈｇ”０  ）にＨＴ  を作用させて、修正ベクトルを得る。
（５）当該推定ベクトルと修正ベクトルの和を取ることで、新しい推定ベクトルを得る。
（６）更新された推定ベクトルを用いて、上記した（２）から（６）の各構成操作を繰り返す。
ここで述べた逐次法では、しばしば（３）の残差ベクトルの大きさを見て計算を終了する。ｋ回目の演算をサフィックスで表わすと、ヤコビ法は、次式１０に示す様な形で与えられる。
【００３１】
【数１０】
0003558120.tif 000010
ここでαは、ダンピング係数と呼ばれ、逐次法の収束性と収束速度を決定する。その値はしばしば経験的に決る。無限回の繰り返しにより、ヤコビ法で十分に収束させて得られる解は、次式１１式が成り立つ。
【００３２】
【数１１】
0003558120.tif 000011
つまり、上式１１が成り立つことから、
【００３３】
【数１２】
0003558120.tif 000012
を満たすことが分かる。
【００３４】
上記した本発明に係る電子透かし情報検出方法の基本的な技術思想を具体的に実現する電子透かし情報検出方法に付いて図５に示すフローチャートを参照しながら詳細に説明する。
先ず、本発明に於ける当該電子透かし情報検出方法に於いて対象とする不正な変形処理されたと思われる被検査画像情報は、静止画像であって、しかも、当該画像情報は、回転変形処理されたものと推定される画像情報である事が好ましい。
又、更に好ましくは、当該被検査画像情報は、当該画像情報と実質的若しくは近似した画像に関する出所情報が確認出来るものである事が好ましい。
【００３５】
つまり、本発明に係る当該電子透かし情報検出方法に於いて、不正行為によって、所定の電子透かし情報が消去されるか、改竄或いは変形されて正しい電子透かし情報が読み出されなくなった画像情報から、原画像情報の電子透かし情報を読み出せる様にする為に、当該原画像情報と同一或いは類似した画像情報の出所が予め判っている事が望ましい。
【００３６】
更には、本発明に係る当該電子透かし情報検出方法に於いて、被検査画像情報を検査するに際して、当該被検査画像情報が、拡大・縮小の変形処理を受けているのか、回転変形処理を受けているのかを識別しえる画像情報分析手段１を準備しておく事が好ましい。
具体的には、市場から入手した静止画が、回転変形処理されているか、或いは拡大・縮小変形処理されているかどうかを判断する方法としては、例えば、以下示すような「画像エッジ検出法」を使用する事によって、当該市場から入手した静止画が回転変形処理されたものであるかどうかを検出する事が出来る。
つまり、画像エッジ検出法では、図７に示す様に、微分フィルタにより画像のエッジを抽出することで画像の回転角度を計算することができる。
【００３７】
一方、上記した画像エッジ検出法でエッジが検出できない場合には、当該市場から入手した静止画像は、拡大・縮小変形処理されていると推定しても良い。
又、当該静止画像が、拡大・縮小変形処理されているかどうかは、本願出願人が別途の特許出願に於いて提案している様な、入手した画像をフーリエ変換したフーリエ空間内画像に所定の参照情報信号を所定の部位に埋め込んだ後、当該フーリエ空間内画像を逆フーリエ変換して画像空間内画像に戻し、次いで、当該画像空間内画像を所定の範囲内の拡大／縮小率から選択された複数の個々の拡大／縮小率を使用して、当該画像空間内画像の画像サイズを個別に変更した後、当該それぞれの画像サイズが変更された当該画像空間内画像を再度フーリエ変換してフーリエ空間内画像となし、それぞれのフーリエ空間内画像に於いて、当該画像に先に埋め込んだ当該参照情報信号の周波数成分の位置の移動の有無を検出する方法によっても、検出可能である。
【００３８】
本発明に於いては、上記した様に、先ず入手した被検査画像情報が、回転変形処理を受けたものであって、電子透かし情報が全く判読出来ない様な画像情報に付いて、先ず最初に推定画像情報ベクトルｇ”０  （初期推定画像値）を設定し、システムマトリックスＨとの積で表される推定の確からしさを図る尺度であるＨｇ”０  と回転変形処理された当該被検査画像情報ベクトルｇ’との誤差値に関する式８で示す様な自乗誤差値を最小にする様に、順次推定値を変更し、当該被検査画像情報から、原画像情報を推定する様にする事によって、電子透かし情報を判読出来る様に処理するものである。
此処で、本発明に於て使用される当該自乗誤差値判定手段６は、疑似逆行列或いはヤコビ法による数値解法手段を適用して当該最小自乗誤差値を演算する様に構成されている事が望ましい。
【００３９】
図５に示すフローチャートによると、本発明に係る当該電子透かし情報検出方法の基本的な操作手順は、以下の通りとなる。
即ち、スタート後、ステップ（ＳＴ−１）に於て、入手した被検査画像情報から行列Ｈを求め、その転置行列ＨＴ  を作成する。
此処で、本発明に於ける当該具体例に於いて、上記ベクトルＨと転置行列ＨＴ  の求め方の一具体例を以下に説明する。
【００４０】
即ち、今、図７に示すような回転した静止画像が一枚があるとする。
画像サイズは４×４ｐｉｘｅｌｓで、画像エッジ抽出法により検出した回転角度は１５度であるとする。
上記の条件により、ベクトルＨとその転置行列ＨＴ  のサイズは、１６×１６ｐｉｘｅｌｓとなる。
式５に示すように、式２、３により得られたベクトルＨの各エレメント，  ｈ（ｉ，ｊ）、小数点２位までの値は表１に示す。
又、エレメントｈ（ｉ，ｊ）は、回転後画像の画素ｉ（０＜ｉ＜４×４）と回転前画像の画素ｊ（０＜ｊ＜４×４）の繋がりを表わしている。
表１に示すように画素ｉに対して、すべてのエレメントｈ（ｉ，ｊ）はゼロとなる場合には、その画素は回転前画像のすべての画素を無関係となる。
つまり、その画素は回転前画像サイズ以外の画素と繋がっている。また、画素ｉに対する非零値の和は、式１３に示すように、
【００４１】
【数１３】
0003558120.tif 000013
となる。
【００４２】
一方、ベクトルＨの転置行列ＨＴ  は、ベクトルＨの行と列を表２に示すように交換することで得られる。
【００４３】
【表１】
0003558120.tif 000014
【００４４】
【表２】
0003558120.tif 000015
【００４５】
次いで、ステップ（ＳＴ−２）に進んで、当該被検査画像情報ベクトルｇ’から原画像情報ベクトルを推定するに際して、先ず、第１回目の推定画像情報ｇ”０  （初期推定画像値）を求め、その後、ステップ（ＳＴ−３）に進んで、当該被検査画像情報ベクトルｇ’と上記したＨｇ”０  との誤差である残差（ｇ’−Ｈｇ”ｋ  ）を演算する。
尚、当該推定画像情報ｇ”０  （初期推定画像値）は、後述する様に、何回も各操作を繰り返すものであるから、その都度値が変更されるので、一般的には、当該推定画像情報ベクトル値はｇ”ｋ  として表示されるものである。
此処で、本具体例に於ける当該初期推定画像値を求める具体的方法としては、例えば、上記した様な方法で計算した回転角度値をマイナスにして式２に代入することで、アフィン変換の線形補間法（あるいは最近傍法）により得られた逆回転画像を初期推定値として用いる事が可能である。
【００４６】
その後、ステップ（ＳＴ−４）に移行して、当該ステップ（ＳＴ−３）で得られた残差値の自乗誤差Ｉ＝（ｇ’−Ｈｇ”ｋ  ）Ｔ  （ｇ’−Ｈｇ”ｋ  ）を演算する。
その後、ステップ（ＳＴ−５）に進んで、当該自乗誤差値Ｉが、最小値であるから否かが判断され、当該ステップ（ＳＴ−５）於て、当該自乗誤差値Ｉが、最小値であると判断された場合には、ステップ（ＳＴ−６）に移行して、当該最小自乗誤差値Ｉから原画像情報ベクトルｇを推定し、その結果から適宜の電子透かし情報手段１０を介して、当該電子透かし情報を読み出して、適宜の表示手段１１に表示してＥＮＤとなる。
【００４７】
一方、当該ステップ（ＳＴ−５）於て、当該自乗誤差値Ｉが、最小値では無いと判断された場合には、ステップ（ＳＴ−７）に移行して、αＨＴ  （ｇ’−Ｈｇ”ｋ  ）で示される修正ベクトルを演算し、ステップ（ＳＴ−８）に移り、ｇ”ｋ＋１  ＝ｇ”ｋ  ＋αＨＴ  （ｇ’−Ｈｇ”ｋ  ）で表される逆回転画像ベクトルを演算により求める。
その後、ステップ（ＳＴ−３）に戻り、当該逆回転画像ベクトルｇ”ｋ＋１  を残差値（ｇ’−Ｈｇ”ｋ  ）に加算した後、当該ステップ（ＳＴ−３）以降の各工程を繰り返す事になる。
【００４８】
上記した具体例の説明から明らかな様に、本発明に係る当該電子透かし情報検出方法のより詳細な具体例としては、画像情報を入手する第１の工程、当該入手した画像情報が回転変形処理を受けているか否かを判断する第２の工程、回転変形された当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する第３の工程、当該画像情報から初期推定画像ベクトルを算出する初期推定画像ベクトル算出する第４の工程、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する第５の工程、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算する第６の工程、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する第７の工程、当該残差ベクトル自乗誤差値が、最小で無いと判断された場合には、修正ベクトルを演算し、逆回転画像を算出する第８の工程、及び当該算出された逆回転画像情報を当該推定画像ベクトル演算手段の演算値に加算する第９の工程、必要に応じて残差ベクトル自乗誤差演算する工程を繰り返す第１０の工程、当該残差ベクトル自乗誤差値が、最小であると判断された場合には、当該最小自乗誤差値から原画像情報を推定する第１１の工程、及び当該推定された当該原画像情報から電子透かし情報を読み出す第１２の工程、とから構成されている電子透かし情報検出方法である。
【００４９】
本発明に於ける電子透かし情報検出方法に於いては、当該自乗誤差値判定手段６は、疑似逆行列或いはヤコビ法による数値解法手段を適用して当該最小自乗誤差値を演算する様に構成されている事が望ましい。
本発明に係る当該電子透かし情報検出方法のより詳細な手順を図６に示すフローチャートを参照しながら詳細に説明する。
即ち、本発明に於ける当該電子透かし情報検出方法に於いては、スタート後、ステップ（Ｓ−１）に於て、被検査画像報を入手する第１の工程が実行され、ステップ（Ｓ−２）に於て、当該入手した画像情報が回転変形処理を受けているか否かを判断する第２の工程を実行する。
【００５０】
当該ステップ（Ｓ−２）で、当該被検査画像報が、何等変形処理操作を受けていないか、拡大或いは縮小による変形処理のみを受けている事が判明した場合には、当該ルーチンはエンドとなるが、当該被検査画像情報が、何等かの回転変形処理を受けている事が判明した場合には、ステップ（Ｓ−３）に進み、当該被検査画像報の、回転変形された当該画像情報からシステムマトリックスに関する行列Ｈ及び転置行列ＨＴ  を算出する第３の工程が実行され、ステップ（Ｓ−４）に於て、当該被検査画像報ｇ’から初期推定画像ベクトルｇ”０  を算出する第４の工程が実行される。
【００５１】
その後、ステップ（Ｓ−５）に於て、後述する逆回転画像情報ベクトルｇ”ｋ  ＋１による置換データがあるか否かが判断され、ＮＯであれば、ステップ（Ｓ−６）に於て、当該被検査画像報に於ける画像ベクトルｇ’と当該初期推定画像ベクトルｇ”０  に当該行列Ｈを乗算した値Ｈｇ”０  との残差ベクトル（ｇ’−Ｈｇ”ｋ  ）を演算する第５の工程が実行される。
又、ステップ（Ｓ−５）に於て、ＹＥＳであれば、ステップ（Ｓ−７）に於て置換画像情報ベクトルｇ”ｋ＋１  を使用して残差ベクトル（ｇ’−Ｈｇ”ｋ＋１  ）を演算する第５’の工程が実行される。
【００５２】
次いで、ステップ（Ｓ−８）に進み、当該残差ベクトル（ｇ’−Ｈｇ”ｋ    ）の自乗誤差Ｉ＝（ｇ’−Ｈｇ”ｋ  ）Ｔ  （ｇ’−Ｈｇ”ｋ  ）を演算する第６の工程が実行され、ステップ（Ｓ−９）に於て、当該残差ベクトル自乗誤差値Ｉが最小値であるか否かを判断する第７の工程が実行される。
当該ステップ（Ｓ−９）に於て、当該残差ベクトル自乗誤差値Ｉが、最小で無いと判断された場合には、ステップ（Ｓ−１０）に進み、αＨＴ  （ｇ’−Ｈｇ”ｋ  ）で示される修正ベクトルを演算する第８の工程が実行されると共に、ステップ（Ｓ−１１）に於て、当該修正ベクトルからｇ”ｋ＋１  ＝ｇ”ｋ  ＋αＨＴ  （ｇ’−Ｈｇ”ｋ  ）で表される逆回転画像ベクトルを算出する第９の工程が実行された後、ステップ（Ｓ−５）に戻って、当該算出された逆回転画像情報ベクトルｇ”ｋ  ＋１で、前回操作した際の推定画像情報ベクトル値ｇ”０  或いは、ｇ”ｋ  を置換する第１０の工程が実行される。
【００５３】
その後、必要に応じてステップ（Ｓ−４）からステップ（Ｓ−１１）までの各工程が繰り返すされる第１１の工程が実行され、ステップ（Ｓ−７）に於て、当該残差ベクトル自乗誤差値Ｉが、最小であると判断された場合には、ステップ（Ｓ−１２）に進んで、当該最小自乗誤差値Ｉから原画像情報ｇを推定する第１２の工程が実行され、次いでステップ（Ｓ−１３）に於て当該推定された当該原画像情報ｇから電子透かし情報を読み出す第１３の工程とが実行され、最後にステップ（Ｓ−１４）に於て、当該電子透かし情報を適宜の表示手段に表示する工程が実行されてエンドとなる。
本具体例に於ける上記したステップ（Ｓ−５）からステップ（Ｓ−１１）までの各工程の繰り返し操作は、特に限定されないが、例えば５回以内で完了させる事が望ましい。
【００５４】
上記の電子透かし情報検出方法をより詳細に説明する為に、簡単なモデル画像情報を使用して、当該電子透かし情報検出方法を実践する為の手順を以下に説明する。
即ち、モデル画像として図８に示す様な回転以前の原静止画像があったとして、当該原静止画像が図９に示す様に、回転角度１５度で回転処理され、その結果、当該回転された画像のサイズは１０×１０ｐｉｘｅｌｓであるとする。
図８及び図９に於ける画像の灰色部分は非零値に対して画像値がある部分となる。
係るモデル静止画像に対して、図１０〜図１３には、それぞれ式１０の重み係数αを１．０とし、推定回数は０回（初期値）、２５回、５０回、１００回の推定値（画像）を示した。
【００５５】
即ち、図１０〜図１３のそれぞれに示された各回で推定した画像ｇ”と原画像ｇの自乗誤差Ｉ２  、またその画像を同回転角度で再回転させた再回転画像ｇ’”＝Ｈｇ”，  と元の回転された画像ｇ’の自乗誤差Ｉ１  は、そのぞれ式１４と式１５で与えられる。
【００５６】
【数１４】
0003558120.tif 000016
【００５７】
【数１５】
0003558120.tif 000017
ここで、Ｍは画像のサイズである。式１４と式１５により得られた計算結果は図１４及び図１５並びに表３に示す。
図１４、図１５及び表３の結果により、およそ２５回ぐらい推定することで、推定画像値と原画像値の自乗誤差はほぽゼロとなる。
【００５８】
又、本発明に係る他の態様としては、画像情報を入手する第１の工程、当該入手した画像情報が回転変形処理を受けているか否かを判断する第２の工程、回転変形された当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する第３の工程、当該画像情報から初期推定画像ベクトルを算出する第４の工程、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する第５の工程、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算する第６の工程、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する第７の工程、当該残差ベクトル自乗誤差値が、最小で無いと判断された場合には、修正ベクトルを演算する第８の工程、当該修正ベクトルから逆回転画像を算出する第９の工程、当該算出された逆回転画像情報を当該推定画像ベクトル演算値と置換する第１０の工程、必要に応じて残差ベクトル自乗誤差演算する工程を繰り返す第１１の工程、当該残差ベクトル自乗誤差値が、最小であると判断された場合には、当該最小自乗誤差値から原画像情報を推定する第１２の工程、及び当該推定された当該原画像情報から電子透かし情報を読み出す工程、とから構成された電子透かし情報検出方法を実行する為のプログラムを記録している記録媒体である。
【００５９】
【表３】
0003558120.tif 000018
【００６０】
【発明の効果】
本発明に係る当該電子透かし情報検出装置及び当該電子透かし情報検出方法は、上記した様な技術構成を採用しているので、予め定められた電子透かし情報を含む静止画像である原画像情報に回転変形処理を実行した後に市場に出回っている当該不正処理された静止画像情報から、当該元の電子透かし情報を検出し、当該画像情報に対する著作権を不正な侵害行為から保護する為に必要な電子透かし情報検出装置及び電子透かし情報検出方法が得られるものである。
【図面の簡単な説明】
【図１】図１は、本発明に係る電子透かし情報検出装置の一具体例の構成を示すブロックダイアグラムである。
【図２】図２は、画像情報を変形処理する方法の例を示す図である。
【図３】図３は、画像情報を変形処理する際の線形補間方法の例を説明する図である。
【図４】図４は、画像情報を回転変形処理する場合の画像情報の変化を説明する図である。
【図５】図５は、本発明に係る電子透かし情報検出方法の一具体例に於ける操作手順を説明するフローチャートである。
【図６】図６は、本発明に係る電子透かし情報検出方法の他の具体例に於ける操作手順を説明するフローチャートである。
【図７】図７は、本発明に係る静止画像が回転変形処理されたか否かを判断する方法の例を説明する図である。
【図８】図８は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図９】図９は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図１０】図１０は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図１１】図１１は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図１２】図１２は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図１３】図１３は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図１４】図１４は、本発明に於ける推定画像値を求める方法に於ける演算結果を示すグラフである。
【図１５】図１５は、本発明に於ける推定画像値を求める方法に於ける演算結果を示すグラフである。
【符号の説明】
１００…電子透かし情報検出装置
１…画像情報分析手段
２…行列演算手段
３…初期推定画像ベクトル演算手段
４…残差ベクトル演算手段
５…残差ベクトル自乗誤差演算手段
６…自乗誤差値判定手段
７…修正ベクトル演算手段
８…逆回転画像演算手段
９…置換手段
１０…原画像情報の推定値を求める手段
１１…電子透かし情報表示手段
１２…中央演算手段
【図１】
0003558120.tif 000019
【図２】
0003558120.tif 000020
【図３】
0003558120.tif 000021
【図４】
0003558120.tif 000022
【図５】
0003558120.tif 000023
【図６】
0003558120.tif 000024
【図７】
0003558120.tif 000025
【図８】
0003558120.tif 000026
【図９】
0003558120.tif 000027
【図１０】
0003558120.tif 000028
【図１１】
0003558120.tif 000029
【図１２】
0003558120.tif 000030
【図１３】
0003558120.tif 000031
【図１４】
0003558120.tif 000032
【図１５】
0003558120.tif 000033