(57)【要約】  本発明は、画像改ざん検出方法、システム、電子装置及び記憶媒体を開示し、前記方法は、被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出するステップＡと、所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとするステップＢとを含む。
2019503530.tif 000002
【特許請求の範囲】
【請求項１】
画像改ざん検出方法であって、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出するステップＡと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとするステップＢと、
を含むことを特徴とする画像改ざん検出方法。
【請求項２】
前記ステップＡは、
前記被検出画像を第１の色空間から第２の色空間に変換することと、
前記被検出画像に対してブロック分割を行って、前記被検出画像をＮ×Ｍの画像断片に分割する（Ｎ及びＭは正の整数）ことと、
各画像断片の各第２の色空間成分に所定のウェーブレット関数を適用して分解することで、複数の対応する画素係数マップを得て、各前記画素係数マップの要約統計量係数を計算し、各画像断片にて複数の要約統計量係数を取得し、各前記要約統計量係数を対応する画像断片の初期的な改ざん検出用特徴とすることと、を含む
ことを特徴とする請求項１に記載の画像改ざん検出方法。
【請求項３】
前記所定のエンコーダは、積層オートエンコーダであり、
前記積層オートエンコーダは、複数層の基本的なオートエンコーダを積層させることにより構成され、各層のオートエンコーダの出力は、その次の層のオートエンコーダの入力であり、
前記積層オートエンコーダが、さらに、多層パーセプトロンを含み、
前記多層パーセプトロンは、最終層のオートエンコーダとつながり、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を決める
ことを特徴とする請求項１に記載の画像改ざん検出方法。
【請求項４】
前記所定のエンコーダは、積層オートエンコーダであり、
前記積層オートエンコーダは、複数層の基本的なオートエンコーダを積層させることにより構成され、各層のオートエンコーダの出力は、その次の層のオートエンコーダの入力であり、
前記積層オートエンコーダが、さらに、多層パーセプトロンを含み、
前記多層パーセプトロンは、最終層のオートエンコーダとつながり、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を決める
ことを特徴とする請求項２に記載の画像改ざん検出方法。
【請求項５】
前記ステップＢは、
所定のエンコーダを用いて、各画像断片の初期的な改ざん検出用特徴を符号化することより各画像断片の複雑な改ざん特徴を生成することと、
各画像断片の複雑な改ざん特徴に基づき、各画像断片に対応する第１の改ざん検出結果を改ざん有り又は改ざんなしとすることと、
画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとすることと、を含む
ことを特徴とする請求項３に記載の画像改ざん検出方法。
【請求項６】
前記積層オートエンコーダは、さらに、隣接する領域のシーン情報に基づき、前記被検出画像に対応する改ざん検出結果を決める隣接領域検知層を含み、
前記ステップＢは、さらに、
所定のアルゴリズムにより各画像断片近傍のシーン情報を計算し、各画像断片近傍のシーン情報に基づき、各画像断片に対応する第２の改ざん検出結果を改ざん有り又は改ざんなしとすることと、
画像断片に対応する第２の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとすることと、
全ての画像断片に対応する第２の改ざん検出結果がいずれも改ざんなしであり、画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざんなしとすることと、を含む
ことを特徴とする請求項５に記載の画像改ざん検出方法。
【請求項７】
前記所定のエンコーダの訓練プロセスは、
所定の数量の画像サンプルを取得し、各画像サンプルについて、改ざん有り又は改ざんなしという改ざん結果をマーキングするステップＣと、
各画像サンプルに対してブロック分割を行うことで、各画像サンプルをＮ×Ｍの画像断片に分割し（Ｎ及びＭは正の整数）、各画像サンプルの各画像断片から初期的な改ざん検出用特徴を抽出することにより、各画像サンプルに対応する初期的な改ざん検出用特徴を抽出するステップＤと、
全ての画像サンプルをＸ：Ｙ（Ｘ＞０、Ｙ＞０）の割合で第１のデータセット及び第２のデータセットに分け（ただし、第１のデータセットの画像サンプルの数量は第２のデータセットの画像サンプルの数量より多い）、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとするステップＥと、
第１のデータセットの各画像サンプルに対応する初期的な改ざん検出用特徴を用いてエンコーダを訓練し、第２のデータセットの各画像サンプルに対応する初期的な改ざん検出用特徴を用いて、訓練されたエンコーダに対して正確率の検証を行うステップＦと、
訓練されたエンコーダの正確率が所定の正確率以上の場合、訓練を終了し、訓練されたエンコーダの正確率が所定の正確率未満の場合、画像サンプルの数量を増加して、訓練されたエンコーダの正確率が所定の正確率以上になるまで、ステップＤと、ステップＥと、ステップＦとを繰り返し実行するステップＧと、を含む
ことを特徴とする請求項１に記載の画像改ざん検出方法。
【請求項８】
画像改ざん検出システムであって、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出する抽出モジュールと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとする検出モジュールと、
を含むことを特徴とする画像改ざん検出システム。
【請求項９】
前記抽出モジュールは、
前記被検出画像を第１の色空間から第２の色空間に変換する変換手段と、
前記被検出画像に対してブロック分割を行って、前記被検出画像をＮ×Ｍの画像断片に分割する（Ｎ及びＭは正の整数）分割手段と、
各画像断片の各第２の色空間成分に所定のウェーブレット関数を適用して分解することにより、複数の対応する画素係数マップを得て、各前記画素係数マップの要約統計量係数を計算し、各画像断片にて複数の要約統計量係数を取得し、各前記要約統計量係数を対応する画像断片の初期的な改ざん検出用特徴とする取得手段と、
を含むことを特徴とする請求項８に記載の画像改ざん検出システム。
【請求項１０】
前記所定のエンコーダは、積層オートエンコーダであり、
前記積層オートエンコーダは、複数層の基本的なオートエンコーダを積層させることにより構成され、各層のオートエンコーダの出力は、その次の層のオートエンコーダの入力であり、
前記積層オートエンコーダが、さらに、多層パーセプトロンを含み、
前記多層パーセプトロンは、最終層のオートエンコーダとつながり、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を決める
ことを特徴とする請求項８に記載の画像改ざん検出システム。
【請求項１１】
前記所定のエンコーダは、積層オートエンコーダであり、
前記積層オートエンコーダは、複数層の基本的なオートエンコーダを積層させることにより構成され、各層のオートエンコーダの出力は、その次の層のオートエンコーダの入力であり、
前記積層オートエンコーダが、さらに、多層パーセプトロンを含み、
前記多層パーセプトロンは、最終層のオートエンコーダとつながり、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を決める
ことを特徴とする請求項９に記載の画像改ざん検出システム。
【請求項１２】
前記検出モジュールは、さらに、
所定のエンコーダを用いて、各画像断片の初期的な改ざん検出用特徴を符号化することより各画像断片の複雑な改ざん特徴を生成し、
各画像断片の複雑な改ざん特徴に基づき、各画像断片に対応する第１の改ざん検出結果を改ざん有り又は改ざんなしとし、
画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとする
ことを特徴とする請求項１０に記載の画像改ざん検出システム。
【請求項１３】
前記積層オートエンコーダは、さらに、隣接する領域のシーン情報に基づき、前記被検出画像に対応する改ざん検出結果を決める隣接領域検知層を含み、
前記検出モジュールは、さらに、
所定のアルゴリズムにより各画像断片近傍のシーン情報を計算し、各画像断片近傍のシーン情報に基づき、各画像断片に対応する第２の改ざん検出結果を改ざん有り又は改ざんなしとし、
画像断片に対応する第２の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとし、
全ての画像断片に対応する第２の改ざん検出結果がいずれも改ざんなしであり、画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざんなしとする
ことを特徴とする請求項１２に記載の画像改ざん検出システム。
【請求項１４】
前記所定のエンコーダの訓練プロセスは、
所定の数量の画像サンプルを取得し、各画像サンプルについて、改ざん有り又は改ざんなしという改ざん結果をマーキングするステップＣと、
各画像サンプルに対してブロック分割を行うことで、各画像サンプルをＮ×Ｍの画像断片に分割し（Ｎ及びＭは正の整数）、各画像サンプルの各画像断片から初期的な改ざん検出用特徴を抽出することにより、各画像サンプルに対応する初期的な改ざん検出用特徴を抽出するステップＤと、
全ての画像サンプルをＸ：Ｙ（Ｘ＞０、Ｙ＞０）の割合で第１のデータセット及び第２のデータセットに分け（ただし、第１のデータセットの画像サンプルの数量は第２のデータセットの画像サンプルの数量より多い）、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとするステップＥと、
第１のデータセットの各画像サンプルに対応する初期的な改ざん検出用特徴を用いてエンコーダを訓練し、第２のデータセットの各画像サンプルに対応する初期的な改ざん検出用特徴を用いて、訓練されたエンコーダに対して正確率の検証を行うステップＦと、
訓練されたエンコーダの正確率が所定の正確率以上の場合、訓練を終了し、訓練されたエンコーダの正確率が所定の正確率未満の場合、画像サンプルの数量を増加して、訓練されたエンコーダの正確率が所定の正確率以上になるまで、ステップＤと、ステップＥと、ステップＦとを繰り返し実行するステップＧと、を含む、
ことを特徴とする請求項８に記載の画像改ざん検出システム。
【請求項１５】
電子装置であって、
処理機器と記憶機器とを含み、
前記記憶機器に画像改ざん検出プログラムが記憶されており、前記画像改ざん検出プログラムは、少なくとも１つのコンピュータ読み取り可能なコマンドを含み、
前記少なくとも１つのコンピュータ読み取り可能なコマンドを前記処理機器が実行することで、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出するステップＡと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとするステップＢと、を実現できる
ことを特徴とする電子装置。
【請求項１６】
前記少なくとも１つのコンピュータ読み取り可能なコマンドは、前記処理機器により実行され、前記ステップＡを実行する際、
前記被検出画像を第１の色空間から第２の色空間に変換し、
前記被検出画像に対してブロック分割を行って、前記被検出画像をＮ×Ｍの画像断片に分割し（Ｎ及びＭは正の整数）、
各画像断片の各第２の色空間成分に所定のウェーブレット関数を適用して分解することで、複数の対応する画素係数マップを得て、各前記画素係数マップの要約統計量係数を計算し、各画像断片にて複数の要約統計量係数を取得し、各前記要約統計量係数を対応する画像断片の初期的な改ざん検出用特徴とする
ことを特徴とする請求項１５に記載の電子装置。
【請求項１７】
前記所定のエンコーダは、積層オートエンコーダであり、
前記積層オートエンコーダは、複数層の基本的なオートエンコーダを積層させることにより構成され、各層のオートエンコーダの出力は、その次の層のオートエンコーダの入力であり、
前記積層オートエンコーダが、さらに、多層パーセプトロンを含み、
前記多層パーセプトロンは、最終層のオートエンコーダとつながり、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を決める
ことを特徴とする請求項１５に記載の電子装置。
【請求項１８】
前記少なくとも１つのコンピュータ読み取り可能なコマンドは、前記処理機器により実行され、前記ステップＢを実行する際、
所定のエンコーダを用いて、各画像断片の初期的な改ざん検出用特徴を符号化することより各画像断片の複雑な改ざん特徴を生成し、
各画像断片の複雑な改ざん特徴に基づき、各画像断片に対応する第１の改ざん検出結果を改ざん有り又は改ざんなしとし、
画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとする
ことを特徴とする請求項１７に記載の電子装置。
【請求項１９】
前記積層オートエンコーダは、さらに、隣接する領域のシーン情報に基づき、前記被検出画像に対応する改ざん検出結果を決める隣接領域検知層を含み、
前記少なくとも１つのコンピュータ読み取り可能なコマンドは、前記処理機器により実行され、前記ステップＢを実行する際、
所定のアルゴリズムにより各画像断片近傍のシーン情報を計算し、各画像断片近傍のシーン情報に基づき、各画像断片に対応する第２の改ざん検出結果を改ざん有り又は改ざんなしとし、
画像断片に対応する第２の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとし、
全ての画像断片に対応する第２の改ざん検出結果はいずれも改ざんなしであり、画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざんなしとする
ことを特徴とする請求項１８に記載の電子装置。
【請求項２０】
コンピュータ読み取り可能な記憶媒体であって、
少なくとも１つのコンピュータ読み取り可能なコマンドが記憶され、処理機器により実行されることで、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出するステップＡと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとするステップＢと、を実現できる、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
「関連出願の相互参照」
本願は、パリ条約に基づき、２０１６年１２月３０日に中国国家知識産権局に出願された、中国特許出願第２０１６１１２６５６０８２号の「画像改ざん検出方法及び装置」と題する中国特許出願の優先権を主張し、当該出願の全体が参照により本願に援用される。
【０００２】
本発明は、コンピュータの技術分野に関し、詳しく言えば、画像改ざん検出方法、システム、電子装置及び記憶媒体に関するものである。
【背景技術】
【０００３】
従来の画像改ざん検出技術は、その大半が特定のタイプの改ざんに対して行われるものであり、例えば、コピー、移動、又は連結など特定のタイプの改ざんしか検出できない。また、従来の改ざん検出アルゴリズムは、殆どがＪＰＥＧ圧縮の痕跡に基づくものであるため、ＪＰＥＧタイプの画像改ざん検出にしか対応できず、画像改ざん検出可能な画像のフォーマットは非常に限定的であり、さらに、従来の画像改ざん検出アルゴリズムには、複雑な特徴抽出が必要であり、改ざんタイプが変わると、抽出された特徴がロバスト性を備えないため、画像改ざん検出の正確性を確保できないのが現状である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、異なるタイプやフォーマットでの画像改ざんを正確に検出する画像改ざん検出方法、システム、電子装置及び記憶媒体を提供することを主な目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は、画像改ざん検出方法を提供し、
前記方法は、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出するステップＡと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとするステップＢと、
を含む。
【０００６】
本発明の第２の態様は、画像改ざん検出システムを提供し、
前記画像改ざん検出システムは、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出する抽出モジュールと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとする検出モジュールと、
を含む。
【０００７】
本発明の第３の態様は、電子装置を提供し、
前記電子装置は、処理機器と記憶機器とを含み、
前記記憶機器に画像改ざん検出プログラムが記憶されており、前記画像改ざん検出プログラムは、少なくとも１つのコンピュータ読み取り可能なコマンドを含み、
前記少なくとも１つのコンピュータ読み取り可能なコマンドを前記処理機器が実行することで、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出するステップＡと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとするステップＢと、
を実現できる。
【０００８】
本発明の第４の態様は、コンピュータ読み取り可能な記憶媒体を提供し、
前記記憶媒体には少なくとも１つのコンピュータ読み取り可能なコマンドが記憶され、処理機器により実行されることで、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出するステップＡと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとするステップＢと、
を実現できる。
【発明の効果】
【０００９】
本発明による画像改ざん検出方法、システム、電子装置及び記憶媒体は、被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出し、所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、さらに、前記複雑な改ざん特徴に基づき、前記被検出画像の改ざん検出結果を決めるものである。被検出画像を分割してから、各画像断片の初期的な改ざん検出用特徴、及び、エンコーダを用いて前記初期的な改ざん検出用特徴を符号化することにより生成した複雑な改ざん検出特徴に基づき、被検出画像の改ざんを検出する方式は、ＪＰＥＧ圧縮の痕跡に頼らないため、改ざん検出可能な画像のタイプはＪＰＥＧに限定されず、また、分割及び符号化による検出は、複数タイプの画像改ざんを正確に検出できるため、異なるタイプやフォーマットでの画像改ざんに対する正確な検出を実現できる。
【図面の簡単な説明】
【００１０】
【図１】本発明による画像改ざん検出方法を実現する好ましい実施例の適用環境の概略図である。
【図２】本発明による画像改ざん検出方法の一実施例のフローチャートである。
【図３】図２におけるステップＳ１０の詳細的なフローチャートである。
【図４】本発明による画像改ざん検出方法の一実施例における積層オートエンコーダの概略構造図である。
【図５】本発明による画像改ざん検出システムの一実施例における機能モジュールを示す概略図である。
【図６】図５における抽出モジュール０１の各機能手段を示す概略図である。
【発明を実施するための形態】
【００１１】
本発明の解決しようとする技術的課題、技術的解決手段及び有益な効果をより明瞭にするために、以下にて実施例及び図面を踏まえて、本発明の目的の達成、機能上の特徴及び利点について説明する。ただし、本明細書に記載された実施例は、本発明を説明するためのものに過ぎず、本発明を限定するためのものではない。
【００１２】
図１は、本発明による画像改ざん検出方法を実現する好ましい実施例の適用環境の概略図であり、図１によると、前記電子装置１は、例えば、予め設定された又は記憶されているコマンドに従って、数値計算及び／又は情報処理を自動的に実行できる機器である。前記電子装置１は、コンピュータであってもよく、単一のネットワークサーバ、複数のネットワークサーバからなるサーバ群、もしくはクラウドコンピューティングに基づく大量のホストやネットワークサーバからなるクラウド型機器であってもよい。なお、クラウドコンピューティングとは、分散コンピューティングの一種であり、疎結合されている複数のコンピュータクラスターからなる大型仮想コンピュータを指すものである。
【００１３】
本実施例では、電子装置１が、記憶機器１１及び処理機器１２などを含む。処理機器１２は、電子装置１の動作をサポートし、１つ又は複数のマイクロプロセッサ、デジタルプロセッサなどを含んでもよい。記憶機器１１に各種データ及びコンピュータ読み取り可能なコマンドが記憶され、１つ又は複数の不揮発性メモリ、例えば、ＲＯＭ、ＥＰＲＯＭ、又はＦｌａｓｈ  Ｍｅｍｏｒｙ（フラッシュメモリ）などを含んでもよい。一実施例では、記憶機器１１に画像改ざん検出プログラムが記憶されており、前記画像改ざん検出プログラムは、少なくとも１つのコンピュータ読み取り可能なコマンドを含み、前記コンピュータ読み取り可能なコマンドが記憶機器１１に記憶されており、前記少なくとも１つのコンピュータ読み取り可能なコマンドを処理機器１２が実行することで、本発明の各実施例における画像改ざん検出方法を実現できる。
【００１４】
本発明は、画像改ざん検出方法を提供し、図２は、本発明による画像改ざん検出方法の一実施例のフローチャートを示しており、図２によると、一実施例における前記画像改ざん検出方法は、ステップＳ１０と、ステップＳ２０とを含む。
【００１５】
ステップＳ１０：被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出する。
【００１６】
本実施例では、ＪＰＥＧ、ＰＮＧ、ＧＩＦなど各種タイプの被検出画像に対してブロック分割を行って、前記被検出画像をＮ×Ｍ（例えば、３２×３２）の画像断片に分割し（Ｎ及びＭは正の整数）、各画像断片から初期的な改ざん検出用特徴を抽出し、前記初期的な改ざん検出用特徴は、色的特徴、画素的特徴などを含んでもよく、限定されるものではない。被検出画像に対してブロック分割を行う際、前記被検出画像を同一サイズの画像断片に分割しても、前記被検出画像を特定の比例により又は無作為に、サイズが異なる画像断片に分割してもよく、限定されるものではない。画像断片は、形状が規則的な正方形や長方形などでも、形状が不規則的な断片でもよく、限定されるものではない。
【００１７】
ステップＳ２０：所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとする。
【００１８】
各画像断片から初期的な改ざん検出用特徴を抽出したのち、所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより、複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき検出を行って、前記被検出画像の状態を改ざん有り又は改ざんなしとする。なお、前記所定のエンコーダは、比較的固定したエンコーダでも、学習、訓練などの深層学習を行うことができるエンコーダでもよく、例えば、単層オートエンコーダ、積層オートエンコーダなどであり、限定されるものではない。
【００１９】
一実施形態では、前記所定のエンコーダは、学習、訓練などの深層学習を行うことができるエンコーダ、例えば、積層オートエンコーダなどであり、前記所定のエンコーダの訓練プロセスとして、ステップＣと、ステップＤと、ステップＥと、ステップＦと、ステップＧとを含む。
【００２０】
ステップＣ：所定の数量(例えば、１０万個)の画像サンプルを取得し、各画像サンプルについて、改ざん有り又は改ざんなしという改ざん結果をマーキングする。
【００２１】
ステップＤ：各画像サンプルに対してブロック分割を行うことで、各画像サンプルをＮ×Ｍ（例えば、３２×３２）の画像断片に分割し（Ｎ及びＭは正の整数）、各画像サンプルの各画像断片から初期的な改ざん検出用特徴を抽出することにより、各画像サンプルに対応する初期的な改ざん検出用特徴を抽出する。
【００２２】
ステップＥ：全ての画像サンプルをＸ：Ｙ（例えば、８：２）の割合で第１のデータセット及び第２のデータセットに分け（ただし、第１のデータセットの画像サンプルの数量は第２のデータセットの画像サンプルの数量より多い）、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとし、ただし、Ｘ＞０、Ｙ＞０である。
【００２３】
ステップＦ：第１のデータセットの各画像サンプルに対応する初期的な改ざん検出用特徴を用いてエンコーダを訓練し、第２のデータセットの各画像サンプルに対応する初期的な改ざん検出用特徴を用いて、訓練されたエンコーダに対して正確率の検証を行う。
【００２４】
ステップＧ：訓練されたエンコーダの正確率が所定の正確率（例えば、９５％）以上の場合、訓練を終了し、訓練されたエンコーダの正確率が所定の正確率未満の場合、画像サンプルの数量を増加して、訓練されたエンコーダの正確率が所定の正確率以上になるまで、ステップＤと、ステップＥと、ステップＦとを繰り返し実行する。
【００２５】
本実施例は、被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出し、所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、さらに、前記複雑な改ざん特徴に基づき、前記被検出画像の改ざん検出結果を決めるものである。被検出画像を分割してから、各画像断片の初期的な改ざん検出用特徴、及び、エンコーダを用いて前記初期的な改ざん検出用特徴を符号化することにより生成した複雑な改ざん検出特徴に基づき、被検出画像の改ざんを検出する方式は、ＪＰＥＧ圧縮の痕跡に頼らないため、改ざん検出可能な画像のタイプはＪＰＥＧに限定されず、また、分割及び符号化による検出は、複数タイプの画像改ざんを正確に検出できるため、異なるタイプやフォーマットでの画像改ざんに対する正確な検出を実現できる。
【００２６】
さらに、図３に示すように、ステップＳ１０は、ステップＳ１０１と、ステップＳ１０２と、ステップＳ１０３とを含んでもよい。
【００２７】
ステップＳ１０１：前記被検出画像を第１の色空間（例えば、ＲＧＢ色空間）から第２の色空間（例えば、ＹＣｒＣｂ色空間）に変換する。
【００２８】
ステップＳ１０２：前記被検出画像に対してブロック分割を行って、前記被検出画像をＮ×Ｍ（例えば、３２×３２）の画像断片に分割し、ただし、Ｎ及びＭは正の整数である。
【００２９】
ステップＳ１０３：各画像断片の各第２の色空間成分に所定のウェーブレット関数、例えば、多階段（例えば、３階段）の２次元ドブシーウェーブレット（Ｄａｕｂｅｃｈｉｅｓ  Ｗａｖｅｌｅｔ）を適用して分解することで、複数（例えば、３０個）の対応する画素係数マップ（Ｃｏｅｆｆｉｃｉｅｎｔ  Ｍａｐ）を得て、各前記画素係数マップの要約統計量係数（例えば、各画素係数マップに対応する画素値の標準偏差、画素値の平均及び／又は画素値の総和）を計算し、ウェーブレット関数、例えば、ドブシー直交ウェーブレット（Ｄａｕｂｅｃｈｉｅｓ  Ｏｒｔｈｏｇｏｎａｌ  ｗａｖｅｌｅｔｓ）Ｄ２〜Ｄ５を用いて、各画像断片にて複数の要約統計量係数を取得し、各前記要約統計量係数が、対応する画像断片の初期的な改ざん検出用特徴である。
【００３０】
本実施例では、前記被検出画像に対してブロック分割を行って複数の画像断片を形成して、特徴抽出を行うことは、前記被検出画像の全ての詳細的な特徴をより細かく抽出することができ、また、ドブシーウェーブレット、ドブシー直交ウェーブレットなどにより各画像断片の要約統計量係数を取得して、初期改ざん検出用特徴とすることにより、抽出された初期的な改ざん検出用特徴をより正確にすることができる。
【００３１】
さらに、別の実施例として、前記所定のエンコーダは、積層オートエンコーダ（Ｓｔａｃｋｅｄ  Ａｕｔｏ−Ｅｎｃｏｄｅｒ、ＳＡＥ）であり、図４は本発明による画像改ざん検出方法の一実施例における積層オートエンコーダの構造を概略的に示している。図４によると、前記積層オートエンコーダは複数層の基本的なオートエンコーダを積層させることで構成され、各層のオートエンコーダの出力はその次の層のオートエンコーダの入力である。前記積層オートエンコーダは、さらに、多層パーセプトロン（Ｍｕｌｔｉ−Ｌａｙｅｒ  ｐｅｒｃｅｐｔｒｏｎ、ＭＬＰ）を含み、前記多層パーセプトロンが最終層のオートエンコーダとつながり、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を決める。例えば、Ｗ（ｌ）、ｂ（ｌ）はそれぞれｌ−ｔｈ層目のオートエンコーダのニューロンの重み行列及びバイアス値を表すベクトルであり、ｌ−ｔｈ層目のオートエンコーダの入力をＺ（ｌ）、出力をａｅ（ｌ）とすると、
ｅ（ｌ）＝ｆ（Ｚ（ｌ））、Ｚ（ｌ＋１）＝Ｗ（ｌ）ａｅ（ｌ）＋ｂ（ｌ）
であり、
ここで、ｆ（．）はニューロンの活性化関数であり、本実施例では、
ｆ（ｘ）＝１／（１＋ｅｘｐ（−ｘ））
というＳ字型の関数を適用する。
【００３２】
積層オートエンコーダによる復号処理は符号化処理の逆演算であり、関連する入力式及び出力式はそれぞれ
ａｅ（ｌ）＝ｆ（Ｚ（ｎ＋ｌ））及びＺ（ｎ＋ｌ＋１）＝Ｗ（ｎ−ｌ）ａｅ（ｎ＋ｌ）＋ｂ（ｎ−ｌ）
であり、
ここで、ｎは符号化層の総層数を表し、上式によると、積層オートエンコーダにおける符号化層の層数は復号層の層数と一致し、ただし、テストには符号化層のみを用いる。これにより、積層オートエンコーダを用いて入力から特徴を抽出する際、最後に得られる特徴は、最終層の活性値を表すベクトルＹであり、その式は、Ｙ＝ａｅ（ｎ）である。
【００３３】
本実施例では、前記積層オートエンコーダの入力層は初期的な改ざん検出用特徴を受け取り、受け取った初期的な改ざん検出用特徴を中間層（隠れ層ともいう、符号化層）に伝送して次元削減による特徴選択を行い、さらに復号層の復号により元の入力層を再構成し、再構成された入力と元の入力との差異を計算することにより、積層オートエンコーダの符号化層及び復号層の訓練を指導して、積層オートエンコーダの符号化層が最終的に、元の入力特徴を高度化した複雑な改ざん特徴を出力することを確保し、前記高度化した複雑な改ざん特徴を用いると、積層オートエンコーダにより抽出された特徴に対する判定・分類の能力を高め、画像改ざん検出の正確性を向上させることができる。
【００３４】
さらに、別の実施例として、ステップＳ２０が、所定のエンコーダを用いて、各画像断片の初期的な改ざん検出用特徴を符号化することにより、各画像断片の複雑な改ざん特徴を生成することと、各画像断片の複雑な改ざん特徴に基づき、各画像断片に対応する第１の改ざん検出結果を改ざん有り又は改ざんなしとすることと、画像断片に対応する第１の改ざん検出結果が改ざん有りである場合、前記被検出画像に対応する改ざん検出結果を改ざん有りとすることと、を含んでもよい。
【００３５】
本実施例では、所定のエンコーダ、例えば、積層オートエンコーダを用いて、各画像断片の初期的な改ざん検出用特徴を符号化することにより対応する複雑な改ざん特徴を生成したのち、各画像断片の複雑な改ざん特徴に基づき、各画像断片が改ざんされたか否かを検出することができる。１つ又は複数の画像断片に対応する第１の改ざん検出結果が改ざん有りである場合、被検出画像に改ざんされた部分があることを示し、前記被検出画像に対応する改ざん検出結果を改ざん有りとする。全ての画像断片に対応する第１の改ざん検出結果はいずれも改ざんなしである場合、被検出画像に改ざんされた部分がないことを示し、前記被検出画像に対応する改ざん検出結果を改ざんなしとする。
【００３６】
さらに、別の実施例として、前記積層オートエンコーダは、さらに、隣接する領域のシーン情報に基づき、前記被検出画像に対応する改ざん検出結果を決める隣接領域検知層を含み、ステップＳ２０が、さらに、所定のアルゴリズムにより各画像断片近傍のシーン情報を計算し、各画像断片近傍のシーン情報に基づき、各画像断片に対応する第２の改ざん検出結果を改ざん有り又は改ざんなしとすることと、画像断片に対応する第２の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとすることと、全ての画像断片に対応する第２の改ざん検出結果がいずれも改ざんなしであり、画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざんなしとすることと、を含んでもよい。
【００３７】
本実施例では、各画像断片の複雑な改ざん特徴を抽出した上で、隣接領域検知層により計算して各画像断片近傍のシーン情報を取得し、さらに、各画像断片近傍のシーン情報に基づき、各画像断片に対応する第２の改ざん検出結果を決め、第１の改ざん検出結果と第２の改ざん検出結果とを総合的に考慮した上で、前記被検出画像の改ざんの検出を行う。全ての画像断片に対応する第２の改ざん検出結果はいずれも改ざんなしであり、画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざんなしとし、これにより、第１の改ざん検出結果の誤判定などによる、前記被検出画像の改ざん検出が誤る状況を回避し、画像改ざん検出の正確性及び安定性をさらに高めることができる。
【００３８】
一実施形態では、前記所定のアルゴリズムとして、
１つの画像断片Ｐに対して、近傍のシーン情報をＮ（ｐ）とすると、
2019503530.tif 000003
であり、
ここで、
2019503530.tif 000004
は前記画像断片Ｐのｉ番目の隣接する画像断片の複雑な改ざん特徴を表し、Ｋは前記画像断片Ｐが合計Ｋ個の隣接する画像断片を有することを表す。前記画像断片Ｐに対応する全ての隣接する画像断片の分類結果の平均値を計算し、前記平均値の計算式は、
2019503530.tif 000005
であり、
ここで、
2019503530.tif 000006
は前記画像断片Ｐのｉ番目の隣接する画像断片のＭＰＬ分類結果を表し、Ｋは、８としてもよく（すなわち、各画像断片の８つの可能な方向は、いずれも最終的な改ざん判定・分類に用いる）、前記画像断片Ｐに対応する分類結果の平均値が所定の閾値（例えば０．５）以上の場合、前記画像断片Ｐに対応する第２の改ざん検出結果を改ざん有りとし、前記画像断片Ｐに対応する分類結果の平均値が所定の閾値未満の場合、当該画像断片Ｐに対応する第２の改ざん検出結果を改ざんなしとする。
【００３９】
本発明は、さらに、画像改ざん検出システムを提供し、図５は、本発明による画像改ざん検出システムの一実施例における機能手段の概略図であり、図５によると、一実施例において、前記画像改ざん検出システムは、抽出モジュール０１と、検出モジュール０２とを含む。
【００４０】
抽出モジュール０１は、被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出する。
【００４１】
本実施例では、ＪＰＥＧ、ＰＮＧ、ＧＩＦなど各種タイプの被検出画像に対してブロック分割を行って、前記被検出画像をＮ×Ｍ（例えば、３２×３２）の画像断片に分割し（Ｎ及びＭは正の整数）、各画像断片から初期的な改ざん検出用特徴を抽出し、前記初期的な改ざん検出用特徴は、色的特徴、画素的特徴などを含んでもよく、限定されるものではない。被検出画像に対してブロック分割を行う際、前記被検出画像を同一サイズの画像断片に分割しても、前記被検出画像を特定の比例により又は無作為に、サイズが異なる画像断片に分割してもよく、限定されるものではない。画像断片は、形状が規則的な正方形や長方形などでも、形状が不規則的な断片でもよく、限定されるものではない。
【００４２】
検出モジュール０２は、所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとする。
【００４３】
各画像断片から初期的な改ざん検出用特徴を抽出したのち、所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより、複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき検出を行って、前記被検出画像の状態を改ざん有り又は改ざんなしとする。なお、前記所定のエンコーダは、比較的固定したエンコーダでも、学習、訓練などの深層学習を行うことができるエンコーダでもよく、例えば、単層オートエンコーダ、積層オートエンコーダなどであり、限定されるものではない。
【００４４】
一実施形態では、前記所定のエンコーダは、学習、訓練などの深層学習を行うことができるエンコーダ、例えば、積層オートエンコーダなどであり、前記所定のエンコーダの訓練プロセスとして、ステップＣと、ステップＤと、ステップＥと、ステップＦと、ステップＧとを含む。
【００４５】
ステップＣ：所定の数量(例えば、１０万個)の画像サンプルを取得し、各画像サンプルについて、改ざん有り又は改ざんなしという改ざん結果をマーキングする。
【００４６】
ステップＤ：各画像サンプルに対してブロック分割を行うことで、各画像サンプルをＮ×Ｍ（例えば、３２×３２）の画像断片に分割し（Ｎ及びＭは正の整数）、各画像サンプルの各画像断片から初期的な改ざん検出用特徴を抽出することにより、各画像サンプルに対応する初期的な改ざん検出用特徴を抽出する。
【００４７】
ステップＥ：全ての画像サンプルをＸ：Ｙ（例えば、８：２）の割合で第１のデータセット及び第２のデータセットに分け（ただし、第１のデータセットの画像サンプルの数量は第２のデータセットの画像サンプルの数量より多い）、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとし、ただし、Ｘ＞０、Ｙ＞０である。
【００４８】
ステップＦ：第１のデータセットの各画像サンプルに対応する初期的な改ざん検出用特徴を用いてエンコーダを訓練し、第２のデータセットの各画像サンプルに対応する初期的な改ざん検出用特徴を用いて、訓練されたエンコーダに対して正確率の検証を行う。
【００４９】
ステップＧ：訓練されたエンコーダの正確率が所定の正確率（例えば、９５％）以上の場合、訓練を終了し、訓練されたエンコーダの正確率が所定の正確率未満の場合、画像サンプルの数量を増加して、訓練されたエンコーダの正確率が所定の正確率以上になるまで、ステップＤと、ステップＥと、ステップＦとを繰り返し実行する。
【００５０】
本実施例は、被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出し、所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、さらに、前記複雑な改ざん特徴に基づき、前記被検出画像の改ざん検出結果を決めるものである。被検出画像を分割してから、各画像断片の初期的な改ざん検出用特徴、及び、エンコーダを用いて前記初期的な改ざん検出用特徴を符号化することにより生成した複雑な改ざん検出特徴に基づき、被検出画像の改ざんを検出する方式は、ＪＰＥＧ圧縮の痕跡に頼らないため、改ざん検出可能な画像のタイプはＪＰＥＧに限定されず、また、分割及び符号化による検出は、複数タイプの画像改ざんを正確に検出できるため、異なるタイプやフォーマットでの画像改ざんに対する正確な検出を実現できる。
【００５１】
さらに、図６に示すように、抽出モジュール０１は、変換手段０１１と、分割手段０１２と、取得手段０１３とを含んでもよい。
【００５２】
変換手段０１１は、前記被検出画像を第１の色空間（例えば、ＲＧＢ色空間）から第２の色空間（例えば、ＹＣｒＣｂ色空間）に変換する。
【００５３】
分割手段０１２は、前記被検出画像に対してブロック分割を行って、前記被検出画像をＮ×Ｍ（例えば、３２×３２）の画像断片に分割し、ただし、Ｎ及びＭは正の整数である。
【００５４】
取得手段０１３は、各画像断片の各第２の色空間成分に所定のウェーブレット関数、例えば、多階段（例えば、３階段）の２次元ドブシーウェーブレットを適用して分解することで、複数（例えば、３０個）の対応する画素係数マップを得て、各前記画素係数マップの要約統計量係数（例えば、各画素係数マップに対応する画素値の標準偏差、画素値の平均及び／又は画素値の総和）を計算し、ウェーブレット関数、例えば、ドブシー直交ウェーブレットＤ２〜Ｄ５を用いて、各画像断片にて複数の要約統計量係数を取得し、各前記要約統計量係数が、対応する画像断片の初期的な改ざん検出用特徴である。
【００５５】
本実施例では、前記被検出画像に対してブロック分割を行って複数の画像断片を形成して、特徴抽出を行うことは、前記被検出画像の全ての詳細的な特徴をより細かく抽出することができ、また、ドブシーウェーブレット、ドブシー直交ウェーブレットなどにより各画像断片の要約統計量係数を取得して、初期改ざん検出用特徴とすることにより、抽出された初期的な改ざん検出用特徴をより正確にすることができる。
【００５６】
さらに、別の実施例として、前記所定のエンコーダは、積層オートエンコーダであり、図４によると、前記積層オートエンコーダは複数層の基本的なオートエンコーダを積層させることで構成され、各層のオートエンコーダの出力はその次の層のオートエンコーダの入力である。前記積層オートエンコーダは、さらに多層パーセプトロンを含み、前記多層パーセプトロンが最終層のオートエンコーダとつながり、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を決める。例えば、Ｗ（ｌ）、ｂ（ｌ）はｌ−ｔｈ層目のオートエンコーダのニューロンの重み行列及びバイアス値を表すベクトルであり、ｌ−ｔｈ層目のオートエンコーダの入力をＺ（ｌ）、出力をａｅ（ｌ）とすると、
ｅ（ｌ）＝ｆ（Ｚ（ｌ））、Ｚ（ｌ＋１）＝Ｗ（ｌ）ａｅ（ｌ）＋ｂ（ｌ）
であり、
ここで、ｆ（．）はニューロンの活性化関数であり、本実施例では、
ｆ（ｘ）＝１／（１＋ｅｘｐ（−ｘ））
というＳ字型の関数を適用する。
【００５７】
積層オートエンコーダによる復号処理は符号化処理の逆演算であり、関連する入力式及び出力式はそれぞれ
ａｅ（ｌ）＝ｆ（Ｚ（ｎ＋ｌ））及びＺ（ｎ＋ｌ＋１）＝Ｗ（ｎ−ｌ）ａｅ（ｎ＋ｌ）＋ｂ（ｎ−ｌ）
であり、
ここで、ｎは符号化層の総層数を表し、上式によると、積層オートエンコーダにおける符号化層の層数は復号層の層数と一致し、ただし、テストには、符号化層のみを用いる。これにより、積層オートエンコーダを用いて入力から特徴を抽出する際、最後に得られる特徴は、最終層の活性値を表すベクトルＹであり、その式は、Ｙ＝ａｅ（ｎ）である。
【００５８】
本実施例では、前記積層オートエンコーダの入力層は初期的な改ざん検出用特徴を受け取り、受け取った初期的な改ざん検出用特徴を中間層（隠れ層ともいう、符号化層）に伝送して次元削減による特徴選択を行い、さらに復号層の復号により元の入力層を再構成し、再構成された入力と元の入力との差異を計算することにより、積層オートエンコーダの符号化層及び復号層の訓練を指導して、積層オートエンコーダの符号化層が最終的に、元の入力特徴を高度化した複雑な改ざん特徴を出力することを確保し、前記高度化した複雑な改ざん特徴を用いると、積層オートエンコーダにより抽出された特徴に対する判定・分類の能力を高め、画像改ざん検出の正確性を向上させることができる。
【００５９】
さらに、別の実施例として、検出モジュール０２は、さらに、所定のエンコーダを用いて、各画像断片の初期的な改ざん検出用特徴を符号化することにより、各画像断片の複雑な改ざん特徴を生成し、各画像断片の複雑な改ざん特徴に基づき、各画像断片に対応する第１の改ざん検出結果を改ざん有り又は改ざんなしとし、画像断片に対応する第１の改ざん検出結果が改ざん有りである場合、前記被検出画像に対応する改ざん検出結果を改ざん有りとする。
【００６０】
本実施例では、所定のエンコーダ、例えば、積層オートエンコーダを用いて、各画像断片の初期的な改ざん検出用特徴を符号化することにより対応する複雑な改ざん特徴を生成したのち、各画像断片の複雑な改ざん特徴に基づき、各画像断片が改ざんされたか否かを検出することができる。１つ又は複数の画像断片に対応する第１の改ざん検出結果が改ざん有りである場合、被検出画像に改ざんされた部分があることを示し、前記被検出画像に対応する改ざん検出結果を改ざん有りとする。全ての画像断片に対応する第１の改ざん検出結果はいずれも改ざんなしである場合、被検出画像に改ざんされた部分がないことを示し、前記被検出画像に対応する改ざん検出結果を改ざんなしとする。
【００６１】
さらに、別の実施例として、前記積層オートエンコーダは、さらに、隣接する領域のシーン情報に基づき、前記被検出画像に対応する改ざん検出結果を決める隣接領域検知層を含み、検出モジュール０２は、さらに、所定のアルゴリズムにより各画像断片近傍のシーン情報を計算し、各画像断片近傍のシーン情報に基づき、各画像断片に対応する第２の改ざん検出結果を改ざん有り又は改ざんなしとし、画像断片に対応する第２の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとし、全ての画像断片に対応する第２の改ざん検出結果がいずれも改ざんなしであり、画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざんなしとする。
【００６２】
本実施例では、各画像断片の複雑な改ざん特徴を抽出した上で、隣接領域検知層により計算して各画像断片近傍のシーン情報を取得し、さらに、各画像断片近傍のシーン情報に基づき、各画像断片に対応する第２の改ざん検出結果を決め、第１の改ざん検出結果と第２の改ざん検出結果とを総合的に考慮した上で、前記被検出画像の改ざんの検出を行う。全ての画像断片に対応する第２の改ざん検出結果がいずれも改ざんなしであり、画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざんなしとし、これにより、第１の改ざん検出結果の誤判定などによる、前記被検出画像の改ざん検出が誤る状況を回避し、画像改ざん検出の正確性及び安定性をさらに高めることができる。
【００６３】
一実施形態では、前記所定のアルゴリズムとして、
１つの画像断片Ｐに対して、近傍のシーン情報をＮ（ｐ）とすると、
2019503530.tif 000007
であり、
ここで、
2019503530.tif 000008
は前記画像断片Ｐのｉ番目の隣接する画像断片の複雑な改ざん特徴を表し、Ｋは前記画像断片Ｐが合計Ｋ個の隣接する画像断片を有することを表す。前記画像断片Ｐに対応する全ての隣接する画像断片の分類結果の平均値を計算し、前記平均値の計算式は、
2019503530.tif 000009
であり、
ここで、
2019503530.tif 000010
は前記画像断片Ｐのｉ番目の隣接する画像断片のＭＰＬ分類結果を表し、Ｋは、８としてもよく（すなわち、各画像断片の８つの可能な方向は、いずれも最終的な改ざん判定・分類に用いる）、前記画像断片Ｐに対応する分類結果の平均値が所定の閾値（例えば０．５）以上の場合、前記画像断片Ｐに対応する第２の改ざん検出結果を改ざん有りとし、前記画像断片Ｐに対応する分類結果の平均値が所定の閾値未満の場合、当該画像断片Ｐに対応する第２の改ざん検出結果を改ざんなしとする。
【００６４】
ハードウェアで実現するにあたり、処理機器が、抽出モジュール０１、検出モジュール０２などに対応する動作を呼び出して実行するためには、前記モジュールをハードウェアの形態で電子装置に埋め込み、又は電子装置から独立させるようにしてもよいが、ソフトウェアの形態で電子装置の記憶機器に記憶されてもよい。前記処理機器は、例えば、中央処理装置（ＣＰＵ）、マイクロプロセッサ、ワンチップマイコンなどである。
【００６５】
本発明は、さらに、コンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体には画像改ざん検出システムが記憶されており、前記画像改ざん検出システムを少なくとも１つのプロセッサにより実行されることで、前記少なくとも１つのプロセッサに上記の実施例による画像改ざん検出方法のステップを実行させることができ、なお、前記画像改ざん検出方法のステップＳ１０、ステップＳ２０、ステップＳ３０などの詳細はすでに記載したため、ここでは説明を省略する。
【００６６】
本明細書における用語「含む」、又はこれに類する意味の他の用語は、非排他的に包括することを意味し、これにより、一連の要素を含むプロセス、方法、物品、もしくは装置は、これらの要素を含むだけでなく、明記していない他の要素も含み、又はこのようなプロセス、方法、物品、もしくは装置に固有の要素をさらに含む。よって、特段の限定がない限り、文言「〜を含む」などにより限定される要素は、前記要素を含むプロセス、方法、物品、又は装置に他の同一の要素が存在する場合を排除しない。
【００６７】
当業者は、実施形態に関する上記の記載により、上記の実施例による方法は、ソフトウェアと、必要な汎用ハードウェアプラットフォームとを組み合わせた方式により実現でき、当然ながら、ハードウェアでも実現できるが、多くの場合には、前者がより好ましい実施形態であることを理解できるであろう。これにより、本発明の技術的解決手段の趣旨又は従来技術について改良した部分を、ソフトウェア製品の形態で実現でき、前記コンピュータソフトウェア製品は、１つの記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、ＣＤＲＯＭ）に記憶されており、且つ、端末装置（例えば、携帯電話、コンピュータ、サーバ、空調設備、又はネットワーク機器などでもよい）により本発明の各実施例に記載の方法を実行可能とするための複数のコマンドを含む。
【００６８】
以上にて図面を参照しながら本発明の好ましい実施例を説明したが、これをもって本発明の特許請求の範囲を限定するものではなく、本発明の実施例に付与した番号は、記載上の便宜を図るためのものに過ぎず、実施例の優劣を示すものではない。また、フローチャートでは論理的な順序を示しているが、特定の状況においては、図示又は記載されたステップを異なる順序で実行することもできる。
【００６９】
当業者であれば、本発明の範囲及び趣旨から逸脱しない範囲で、種々の変更を加えて本発明を実現でき、例えば、一つの実施例の特徴を別の実施例に組み込むことで、もう一つの実施例を得ることができる。本発明の趣旨に対して行われる変更、同等な置換、又は改良などであれば、いずれも本発明の特許請求の範囲に含まれるものとする。
【図１】
2019503530.tif 000011
【図２】
2019503530.tif 000012
【図３】
2019503530.tif 000013
【図４】
2019503530.tif 000014
【図５】
2019503530.tif 000015
【図６】
2019503530.tif 000016
【手続補正書】
【提出日】平成30年5月30日(2018.5.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像改ざん検出方法であって、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出するステップＡと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとするステップＢと、
を含むことを特徴とする画像改ざん検出方法。
【請求項２】
前記ステップＡは、
前記被検出画像を第１の色空間から第２の色空間に変換することと、
前記被検出画像に対してブロック分割を行って、前記被検出画像をＮ×Ｍの画像断片に分割する（Ｎ及びＭは正の整数）ことと、
各画像断片の各第２の色空間成分に所定のウェーブレット関数を適用して分解することで、複数の対応する画素係数マップを得て、各前記画素係数マップの要約統計量係数を計算し、各画像断片にて複数の要約統計量係数を取得し、各前記要約統計量係数を対応する画像断片の初期的な改ざん検出用特徴とすることと、を含む
ことを特徴とする請求項１に記載の画像改ざん検出方法。
【請求項３】
前記所定のエンコーダは、積層オートエンコーダであり、
前記積層オートエンコーダは、複数層の基本的なオートエンコーダを積層させることにより構成され、各層のオートエンコーダの出力は、その次の層のオートエンコーダの入力であり、
前記積層オートエンコーダが、さらに、多層パーセプトロンを含み、
前記多層パーセプトロンは、最終層のオートエンコーダとつながり、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を決める
ことを特徴とする請求項１に記載の画像改ざん検出方法。
【請求項４】
前記所定のエンコーダは、積層オートエンコーダであり、
前記積層オートエンコーダは、複数層の基本的なオートエンコーダを積層させることにより構成され、各層のオートエンコーダの出力は、その次の層のオートエンコーダの入力であり、
前記積層オートエンコーダが、さらに、多層パーセプトロンを含み、
前記多層パーセプトロンは、最終層のオートエンコーダとつながり、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を決める
ことを特徴とする請求項２に記載の画像改ざん検出方法。
【請求項５】
前記ステップＢは、
所定のエンコーダを用いて、各画像断片の初期的な改ざん検出用特徴を符号化することより各画像断片の複雑な改ざん特徴を生成することと、
各画像断片の複雑な改ざん特徴に基づき、各画像断片に対応する第１の改ざん検出結果を改ざん有り又は改ざんなしとすることと、
画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとすることと、を含む
ことを特徴とする請求項３に記載の画像改ざん検出方法。
【請求項６】
前記積層オートエンコーダは、さらに、隣接する領域のシーン情報に基づき、前記被検出画像に対応する改ざん検出結果を決める隣接領域検知層を含み、
前記ステップＢは、さらに、
所定のアルゴリズムにより各画像断片近傍のシーン情報を計算し、各画像断片近傍のシーン情報に基づき、各画像断片に対応する第２の改ざん検出結果を改ざん有り又は改ざんなしとすることと、
画像断片に対応する第２の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとすることと、
全ての画像断片に対応する第２の改ざん検出結果がいずれも改ざんなしであり、画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざんなしとすることと、を含む
ことを特徴とする請求項５に記載の画像改ざん検出方法。
【請求項７】
前記所定のエンコーダの訓練プロセスは、
所定の数量の画像サンプルを取得し、各画像サンプルについて、改ざん有り又は改ざんなしという改ざん結果をマーキングするステップＣと、
各画像サンプルに対してブロック分割を行うことで、各画像サンプルをＮ×Ｍの画像断片に分割し（Ｎ及びＭは正の整数）、各画像サンプルの各画像断片から初期的な改ざん検出用特徴を抽出することにより、各画像サンプルに対応する初期的な改ざん検出用特徴を抽出するステップＤと、
全ての画像サンプルをＸ：Ｙ（Ｘ＞０、Ｙ＞０）の割合で第１のデータセット及び第２のデータセットに分け（ただし、第１のデータセットの画像サンプルの数量は第２のデータセットの画像サンプルの数量より多い）、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとするステップＥと、
第１のデータセットの各画像サンプルに対応する初期的な改ざん検出用特徴を用いてエンコーダを訓練し、第２のデータセットの各画像サンプルに対応する初期的な改ざん検出用特徴を用いて、訓練されたエンコーダに対して正確率の検証を行うステップＦと、
訓練されたエンコーダの正確率が所定の正確率以上の場合、訓練を終了し、訓練されたエンコーダの正確率が所定の正確率未満の場合、画像サンプルの数量を増加して、訓練されたエンコーダの正確率が所定の正確率以上になるまで、ステップＤと、ステップＥと、ステップＦとを繰り返し実行するステップＧと、を含む
ことを特徴とする請求項１に記載の画像改ざん検出方法。
【請求項８】
画像改ざん検出システムであって、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出する抽出モジュールと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとする検出モジュールと、
を含むことを特徴とする画像改ざん検出システム。
【請求項９】
前記抽出モジュールは、
前記被検出画像を第１の色空間から第２の色空間に変換する変換手段と、
前記被検出画像に対してブロック分割を行って、前記被検出画像をＮ×Ｍの画像断片に分割する（Ｎ及びＭは正の整数）分割手段と、
各画像断片の各第２の色空間成分に所定のウェーブレット関数を適用して分解することにより、複数の対応する画素係数マップを得て、各前記画素係数マップの要約統計量係数を計算し、各画像断片にて複数の要約統計量係数を取得し、各前記要約統計量係数を対応する画像断片の初期的な改ざん検出用特徴とする取得手段と、
を含むことを特徴とする請求項８に記載の画像改ざん検出システム。
【請求項１０】
電子装置であって、
処理機器と記憶機器とを含み、
前記記憶機器に画像改ざん検出プログラムが記憶されており、前記画像改ざん検出プログラムは、少なくとも１つのコンピュータ読み取り可能なコマンドを含み、
前記少なくとも１つのコンピュータ読み取り可能なコマンドを前記処理機器が実行することで、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出するステップＡと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとするステップＢと、を実現できる
ことを特徴とする電子装置。
【請求項１１】
前記少なくとも１つのコンピュータ読み取り可能なコマンドは、前記処理機器により実行され、前記ステップＡを実行する際、
前記被検出画像を第１の色空間から第２の色空間に変換し、
前記被検出画像に対してブロック分割を行って、前記被検出画像をＮ×Ｍの画像断片に分割し（Ｎ及びＭは正の整数）、
各画像断片の各第２の色空間成分に所定のウェーブレット関数を適用して分解することで、複数の対応する画素係数マップを得て、各前記画素係数マップの要約統計量係数を計算し、各画像断片にて複数の要約統計量係数を取得し、各前記要約統計量係数を対応する画像断片の初期的な改ざん検出用特徴とする
ことを特徴とする請求項１０に記載の電子装置。
【請求項１２】
前記所定のエンコーダは、積層オートエンコーダであり、
前記積層オートエンコーダは、複数層の基本的なオートエンコーダを積層させることにより構成され、各層のオートエンコーダの出力は、その次の層のオートエンコーダの入力であり、
前記積層オートエンコーダが、さらに、多層パーセプトロンを含み、
前記多層パーセプトロンは、最終層のオートエンコーダとつながり、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を決める
ことを特徴とする請求項１０に記載の電子装置。
【請求項１３】
前記少なくとも１つのコンピュータ読み取り可能なコマンドは、前記処理機器により実行され、前記ステップＢを実行する際、
所定のエンコーダを用いて、各画像断片の初期的な改ざん検出用特徴を符号化することより各画像断片の複雑な改ざん特徴を生成し、
各画像断片の複雑な改ざん特徴に基づき、各画像断片に対応する第１の改ざん検出結果を改ざん有り又は改ざんなしとし、
画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとする
ことを特徴とする請求項１２に記載の電子装置。
【請求項１４】
前記積層オートエンコーダは、さらに、隣接する領域のシーン情報に基づき、前記被検出画像に対応する改ざん検出結果を決める隣接領域検知層を含み、
前記少なくとも１つのコンピュータ読み取り可能なコマンドは、前記処理機器により実行され、前記ステップＢを実行する際、
所定のアルゴリズムにより各画像断片近傍のシーン情報を計算し、各画像断片近傍のシーン情報に基づき、各画像断片に対応する第２の改ざん検出結果を改ざん有り又は改ざんなしとし、
画像断片に対応する第２の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざん有りとし、
全ての画像断片に対応する第２の改ざん検出結果はいずれも改ざんなしであり、画像断片に対応する第１の改ざん検出結果が改ざん有りであると、前記被検出画像に対応する改ざん検出結果を改ざんなしとする
ことを特徴とする請求項１３に記載の電子装置。
【請求項１５】
コンピュータ読み取り可能な記憶媒体であって、
少なくとも１つのコンピュータ読み取り可能なコマンドが記憶され、処理機器により実行されることで、
被検出画像に対してブロック分割を行って複数の画像断片を形成し、各画像断片から初期的な改ざん検出用特徴を抽出するステップＡと、
所定のエンコーダを用いて、抽出された初期的な改ざん検出用特徴を符号化することにより複雑な改ざん特徴を生成し、生成された複雑な改ざん特徴に基づき、前記被検出画像に対応する改ざん検出結果を改ざん有り又は改ざんなしとするステップＢと、を実現できる、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【国際調査報告】
2019503530.tif 000017
2019503530.tif 000018
2019503530.tif 000019
2019503530.tif 000020