(57)【要約】【課題】一般的なデジタルカメラで撮影された画像になされた改竄を検出する。【解決手段】画像改竄検出装置は、入力された画像からノイズを抽出するノイズ抽出手段（１０）と、ノイズ抽出手段が抽出した複数の画像のノイズから複数の画像の画素値ごとのノイズの分散を算定し、複数の画像のいずれか一つの画像における関心領域のノイズの分散を算定し、複数の画像の画素値ごとのノイズの分散に基づいて関心領域のノイズの分散の期待値を算定する演算手段（２０）と、関心領域のノイズの分散および関心領域のノイズの分散の期待値に基づいて関心領域における改竄の有無を判定する判定手段（３０）とを備えている。【選択図】図１
2014010736.tif 000002
【特許請求の範囲】
【請求項１】
デジタルカメラで撮影された画像になされた改竄を検出する装置であって、
入力された画像からノイズを抽出するノイズ抽出手段と、
前記ノイズ抽出手段が抽出した複数の画像のノイズから前記複数の画像の画素値ごとのノイズの分散を算定し、前記複数の画像のいずれか一つの画像における関心領域のノイズの分散を算定し、前記複数の画像の画素値ごとのノイズの分散に基づいて前記関心領域のノイズの分散の期待値を算定する演算手段と、
前記関心領域のノイズの分散および前記関心領域のノイズの分散の期待値に基づいて前記関心領域における改竄の有無を判定する判定手段とを備えている
ことを特徴とする画像改竄検出装置。
【請求項２】
請求項１に記載の画像改竄検出装置において、
前記ノイズ抽出手段は、前記入力された画像のノイズを除去するノイズフィルタ手段を有し、ノイズ除去前後の画像の差分をノイズとして抽出する
ことを特徴とする画像改竄検出装置。
【請求項３】
請求項１および２のいずれか一つに記載の画像改竄検出装置において、
前記画像がＲＧＢ表色系の画像であり、
前記ノイズ抽出手段、前記演算手段、および前記判定手段は、前記画像を各色系列ごとに処理するものであり、
前記判定手段は、前記関心領域におけるすべての色系列について改竄があると判定した場合、前記関心領域が改竄されていると判定する
ことを特徴とする画像改竄検出装置。
【請求項４】
デジタルカメラで撮影された画像になされた改竄を検出する方法であって、
複数の画像からノイズを抽出するステップと、
前記抽出されたノイズから前記複数の画像の画素値ごとのノイズの分散を算定するステップと、
前記複数の画像のいずれか一つの画像における関心領域のノイズの分散を算定するステップと、
前記複数の画像の画素値ごとのノイズの分散に基づいて前記関心領域のノイズの分散の期待値を算定するステップと、
前記関心領域のノイズの分散および前記関心領域のノイズの分散の期待値に基づいて前記関心領域における改竄の有無を判定するステップとを備えている
ことを特徴とする画像改竄検出方法。
【請求項５】
請求項４に記載の画像改竄検出方法において、
前記ノイズを抽出するステップでは、前記複数の画像のそれぞれについてノイズ除去処理を行って、ノイズ除去前後の画像の差分をノイズとして抽出する
ことを特徴とする画像改竄検出方法。
【請求項６】
請求項４および５のいずれか一つに記載の画像改竄検出方法において、
前記画像がＲＧＢ表色系の画像であり、
前記各ステップでは前記画像が各色系列ごとに処理され、
前記判定するステップでは、前記関心領域におけるすべての色系列について改竄があると判定した場合、前記関心領域が改竄されていると判定する
ことを特徴とする画像改竄検出方法。
【請求項７】
コンピュータに、デジタルカメラで撮影された画像になされた改竄を検出させるためのプログラムであって、
複数の画像からノイズを抽出する機能、
前記抽出されたノイズから前記複数の画像の画素値ごとのノイズの分散を算定する機能、
前記複数の画像のいずれか一つの画像における関心領域のノイズの分散を算定する機能、
前記複数の画像の画素値ごとのノイズの分散に基づいて前記関心領域のノイズの分散の期待値を算定する機能、および
前記関心領域のノイズの分散および前記関心領域のノイズの分散の期待値に基づいて前記関心領域における改竄の有無を判定する機能、をコンピュータに実現させる
ことを特徴とする画像改竄検出プログラム。
【請求項８】
請求項７に記載の画像改竄検出プログラムにおいて、
前記ノイズを抽出する機能は、前記複数の画像のそれぞれについてノイズ除去処理を行って、ノイズ除去前後の画像の差分をノイズとして抽出する
ことを特徴とする画像改竄検出プログラム。
【請求項９】
請求項７および８のいずれか一つに記載の画像改竄検出プログラムにおいて、
前記画像がＲＧＢ表色系の画像であり、
前記各機能は、前記画像を各色系列ごとに処理するものであり、
前記判定する機能は、前記関心領域におけるすべての色系列について改竄があると判定した場合、前記関心領域が改竄されていると判定する
ことを特徴とする画像改竄検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラで撮影された画像になされた改竄を検出する技術に関する。
【背景技術】
【０００２】
デジタルカメラで撮影された画像にはＥｘｉｆ（Exchangeable image file format）情報が付加されており、Ｅｘｉｆ情報を利用すると画像が編集されているか否かを判定することができる。Ｅｘｉｆ情報に基づく判定は非常に簡易であり、また、一般的なデジタルカメラに容易に適用できる反面、画像がメールに添付されたり、カメラからＰＣに転送されたり、回転、色調補正、ファイル圧縮率の変更、一部分の切り出しなどの編集が行われたりすると、その画像が編集されていると判定されてしまい、実務上の不都合が生じることがある。また、Ｅｘｉｆ情報は容易に書き換え可能なため、画像に不正な編集（改竄）が行われていてもＥｘｉｆ情報が書き換えられていた場合、改竄を検出することができないという不利な面がある。
【０００３】
一方、デジタル画像処理の分野では、画像の原本性を担保する観点から、電子透かしや電子署名に類する手法が多数提案されている。これらの手法は高い信頼性で、撮影された画像が処理後に編集されていないことを保証する。しかし、これらの手法の適用にあたっては、あらかじめ編集前の画像に対して電子透かしや電子署名の処理を行う必要がある。すなわち、電子透かしや電子署名の処理後に画像が編集されていないことを保証するものであって、処理前の画像が編集されていないことまでは保証することができない。一部のカメラには撮影時に画像に電子透かしや電子署名の処理を行う機能が搭載されているものの、そのような特殊なカメラはあまり普及していない。
【０００４】
近年、電子透かしなどの前処理を伴わない画像の編集痕跡検出の新技術が提案されている。これらの手法はカメラごとの特性や画像内の対象物の整合性が編集によって失われることを利用したものであり、一般のデジタルカメラに適用することができる。例えば、レンズ特性やセンサ特性、Color Filter Array補間、画像内の光源、ＪＰＥＧ量子化テーブルなどの不整合を検出している（例えば、非特許文献１および２参照）。また、画像内の小ブロック間におけるノイズの相関から各小ブロックの改竄を検出している（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第ＷＯ２００３／０４９４２２号
【非特許文献】
【０００６】
【非特許文献１】J. Lukas, J. Fridrich and M. Goljan, "Detecting Digital Image Forgeries Using Sensor Pattern Noise," Proc. of Society of Photo-Optical Instrumentation Engineers Conference, Vol. 6072, pp.362-372, 2006
【非特許文献２】B. Mahdian, S. Saic, "Using noise inconsistencies for blind image forensics," Image and Vision Computing, pp.1497-1503, Vol. 27, Issue 10, 2009
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１の手法は、編集していない画像を編集ありと誤検出することが多く、また、ファイルサイズの変更に対応していない。また、非特許文献２の手法は、撮影対象が均質な場合にのみ適用可能であり、撮影対象物が複雑な形状であることの多い工事写真などには適さない。
【０００８】
上記問題に鑑み、本発明は、一般的なデジタルカメラで撮影された画像について、回転、色調補正、ファイル圧縮率の変更、一部の切り出しなどの通常の編集は改竄として検出せずに、塗り潰しや書き込みなどの不正な編集を改竄として検出することを課題とする。
【課題を解決するための手段】
【０００９】
本発明の一局面に従った画像改竄検出装置は、入力された画像からノイズを抽出するノイズ抽出手段と、前記ノイズ抽出手段が抽出した複数の画像のノイズから前記複数の画像の画素値ごとのノイズの分散を算定し、前記複数の画像のいずれか一つの画像における関心領域のノイズの分散を算定し、前記複数の画像の画素値ごとのノイズの分散に基づいて前記関心領域のノイズの分散の期待値を算定する演算手段と、前記関心領域のノイズの分散および前記関心領域のノイズの分散の期待値に基づいて前記関心領域における改竄の有無を判定する判定手段とを備えている。
【００１０】
また、本発明の別の局面に従った画像改竄検出方法は、複数の画像からノイズを抽出するステップと、前記抽出されたノイズから前記複数の画像の画素値ごとのノイズの分散を算定するステップと、前記複数の画像のいずれか一つの画像における関心領域のノイズの分散を算定するステップと、前記複数の画像の画素値ごとのノイズの分散に基づいて前記関心領域のノイズの分散の期待値を算定するステップと、前記関心領域のノイズの分散および前記関心領域のノイズの分散の期待値に基づいて前記関心領域における改竄の有無を判定するステップとを備えている。
【００１１】
また、本発明のさらに別の局面に従った画像改竄検出プログラムは、複数の画像からノイズを抽出する機能、前記抽出されたノイズから前記複数の画像の画素値ごとのノイズの分散を算定する機能、前記複数の画像のいずれか一つの画像における関心領域のノイズの分散を算定する機能、前記複数の画像の画素値ごとのノイズの分散に基づいて前記関心領域のノイズの分散の期待値を算定する機能、および前記関心領域のノイズの分散および前記関心領域のノイズの分散の期待値に基づいて前記関心領域における改竄の有無を判定する機能、をコンピュータに実現させるものである。
【００１２】
これら装置、方法、およびプログラムによると、複数の画像の画素値ごとのノイズを指標として、関心領域のノイズの分散とその期待値に基づいて関心領域における改竄の有無が検出される。これにより、回転、色調補正、ファイル圧縮率の変更、一部の切り出しなどの通常の編集は改竄として検出せずに、塗り潰しや書き込みなどを改竄として検出することができる。
【００１３】
前記ノイズ抽出手段は、前記入力された画像のノイズを除去するノイズフィルタ手段を有し、ノイズ除去前後の画像の差分をノイズとして抽出してもよい。
【００１４】
また、前記ノイズを抽出するステップでは、前記複数の画像のそれぞれについてノイズ除去処理を行って、ノイズ除去前後の画像の差分をノイズとして抽出してもよい。
【００１５】
また、前記ノイズを抽出する機能は、前記複数の画像のそれぞれについてノイズ除去処理を行って、ノイズ除去前後の画像の差分をノイズとして抽出してもよい。
【００１６】
前記画像がＲＧＢ表色系の画像である場合、前記ノイズ抽出手段、前記演算手段、および前記判定手段は、前記画像を各色系列ごとに処理し、前記判定手段は、前記関心領域におけるすべての色系列について改竄があると判定した場合、前記関心領域が改竄されていると判定してもよい。
【００１７】
また、前記画像がＲＧＢ表色系の画像である場合、前記各ステップでは前記画像が各色系列ごとに処理され、前記判定するステップでは、前記関心領域におけるすべての色系列について改竄があると判定した場合、前記関心領域が改竄されていると判定してもよい。
【００１８】
また、前記画像がＲＧＢ表色系の画像である場合、前記各機能は、前記画像を各色系列ごとに処理し、前記判定する機能は、前記関心領域におけるすべての色系列について改竄があると判定した場合、前記関心領域が改竄されていると判定してもよい。
【発明の効果】
【００１９】
本発明によると、一般的なデジタルカメラで撮影された画像について、回転、色調補正、ファイル圧縮率の変更、一部の切り出しなどの通常の編集は改竄として検出せずに、塗り潰しや書き込みなどの不正な編集を改竄として検出することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る画像改竄検出装置の構成図
【図２】図１の画像改竄検出装置の利用例を示す模式図
【図３】図１の画像改竄検出装置の入出力の例を示す図
【図４】画像改竄検出の作業フローの例を示す図
【図５】撮影環境が相異なる２つの画像のＲ系列の画素値ごとのノイズ分布の例を示すグラフ
【図６】Ｒ系列の画素値ごとのノイズの分散を示すグラフ
【図７】画像全領域に対する飽和画素値の領域の面積率を示すグラフ
【図８】撮影環境が相異なる２つの画像群の画素値ごとのノイズの分散の例を示すグラフ
【図９】ある撮影環境の画像のＲ系列とＧ系列の判定結果の例を示す図
【図１０】同じ撮影環境の２つの画像群の画素値ごとのノイズの分散の相関および相異なる撮影環境の２つの画像群の画素値ごとのノイズの分散の相関を示すグラフ
【図１１】関心領域の大きさと検出率および誤検出率との関係を示すグラフ
【図１２】単色で塗り潰された編集領域の大きさを変えたときの関心領域の大きさと検出率との関係を示すグラフ
【図１３】編集領域の塗り潰し方法を変えたときの関心領域の大きさと検出率との関係を示すグラフ
【図１４】撮影環境別の誤検出率を示す箱ひげ図
【図１５】画像の回転による検出性能の変化を示すグラフ
【図１６】色調補正による検出性能の変化を示すグラフ
【図１７】ファイル圧縮率の変更による検出性能の変化を示すグラフ
【図１８】一部切り出しによる検出性能の変化を示すグラフ
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら本発明を実施するための形態について説明する。なお、便宜のため工事写真の改竄検出を例に説明するが、本発明はこれに限定されるものではない。
【００２２】
≪画像改竄検出方法の概要≫
まず、本発明の一例に係る画像改竄検出方法の概要を説明する。典型的なＣＣＤカメラの出力Ｄは、式（１）のように定式化できる。また、すべてのノイズを除去できる理想的なdenoiseフィルタΦを仮定すると、処理後の出力Ｄdenoisedは、式（２）で表せる。
【００２３】
【数１】
2014010736.tif 000003
【００２４】
【数２】
2014010736.tif 000004
【００２５】
ただし、式中において、Ｉは領域において励起された電子の数である。Ｋは励起電子数と量子化前の出力値とを対応付ける係数であり、ＣＣＤデバイスの量子化効率や空間特性などに相当する。ＮＳはショットノイズであり、ポアソン分布をとり、分散は励起された電子数に比例する。ＮＤＣは暗電流ノイズであり、正規分布をとり、撮影条件の影響を受ける。ＮＲは読み出しノイズであり、励起電子数とは関係なく発生する増幅ノイズであり、補正オフセット値を含む。ＮＱは量子化ノイズであり、適当な条件下では平均値ゼロの一様分布とみなせる。ｆは電子数の増幅などによる画像化処理である。
【００２６】
式（１）をｆ（ＫＩ）まわりにテーラー展開して２次以上の項を無視し、denoise処理後との差分をとると、その分散Ｖは、式（３）のように表せる。
【００２７】
【数３】
2014010736.tif 000005
【００２８】
ただし、式中において下添え字はそれぞれの因子の影響を受けることを表し、λは撮影対象からの光の波長、εは露光や気温などの撮影環境、ｘ，ｙはＣＣＤ内の位置（座標）による特性である。
【００２９】
例えば、工事写真では似たような環境と対象を撮影した複数枚の写真が存在すると期待できる。あるいは、発注者や監理者の要望によって実現可能である。さらに、工事写真は提出時までには工程ごとに分類されるので、同一工程の工事写真から似たような撮影環境・条件の画像を容易に収集可能と言ってよい。このような条件下では、ある撮影条件・環境ε（式（３）を参照）におけるノイズの分散は、似たような傾向を示すことが期待できる。また同様に、カメラごとに異なるＣＣＤの空間特性（ｘ，ｙ）の影響は平均化によって排除できる。すなわち、出力ＤとＤdenoisedの差分をε、ｘ，ｙに依存しない一つの標本集団とみなすと、ノイズの分散（式（３）の左辺）を式（４）で評価できる。
【００３０】
【数４】
2014010736.tif 000006
【００３１】
ただし、ｖａｒＮ＝Ｖ［Ｄε，λ−Ｄε，λdenoised］とした。式（４）によれば、ノイズの分散は、波長λごとの強度Ｉにのみ依存する。したがって、出力Ｄのある特定の領域、すなわち、関心領域（ＲＯＩ：Region Of Interest）について編集の有無を検討する場合、波長とその強度ごとにノイズの分散を算定し、似たような撮影環境・条件・波長において期待されるノイズの分散の期待値ｖａｒＮＩλバーと比較すれば編集痕跡の有無が判定可能となる。すなわち、以下の式（５）によって判定できる。ただし、出力Ｄのうち、ＲＯＩだけを切り出した場合のノイズの分散をｖａｒＮＲＯＩ、判定の閾値をＣとして表記した。
【００３２】
【数５】
2014010736.tif 000007
【００３３】
ここで簡単のために、撮影条件や環境の違いεを画像ごとの違いε’＝｛１，２，３，…，Ｎ｝、ＣＣＤの空間特性（ｘ，ｙ）を画像内の座標（ｘ’，ｙ’）、ｘ’＝｛１，２，３，…，Ｘ’｝、ｙ’＝｛１，２，３，…，Ｙ’｝と置き換え、ＲＯＩはｘ’＝［ｘｍｉｎＲＯＩ，ｘｍａｘＲＯＩ］、ｙ’＝［ｙｍｉｎＲＯＩ，ｙｍａｘＲＯＩ］の矩形範囲とする。また、波長λおよびその強度ＩはＲＧＢ表色系における各色系列およびその画素値に近似できるため、波長λによる違いを色系列ＣＯＬ＝｛Ｒ，Ｇ，Ｂ｝、その強度Ｉをピクセル画素値Ｐ＝［０，２５５］で置き換える。似たような撮影環境・条件の画像群Ｄε’とそのdenoise処理後の画像群Ｄε’denoisedがそれぞれｃｏｌ系列のｘ’，ｙ’座標のピクセルＰｃｏｌ（ｘ’，ｙ’，ε’）、Ｐｃｏｌdenoised（ｘ’，ｙ’，ε’）を持つとき、式（５）は式（６）で近似できる。
【００３４】
【数６】
2014010736.tif 000008
【００３５】
ただし、ＲＯＩＸ＝ｘｍａｘＲＯＩ−ｘｍｉｎＲＯＩ、ＲＯＩＹ＝ｙｍａｘＲＯＩ−ｙｍｉｎＲＯＩ、ノイズΔＰｃｏｌ（ｘ’，ｙ’，ε’）＝Ｐｃｏｌ（ｘ’，ｙ’，ε’）−Ｐｃｏｌdenoised（ｘ’，ｙ’，ε’）とし、ΔＰの平均値をΔＰバーとしたとき、各色系列の各画素値ごとのノイズΔＰｃｏｌの分散は定義より、
【００３６】
【数６ａ】
2014010736.tif 000009
【００３７】
として算定できる。これを用いると、ＲＯＩについて、
【００３８】
【数６ｂ】
2014010736.tif 000010
【００３９】
【数６ｃ】
2014010736.tif 000011
【００４０】
として式（６）が算定できる。
【００４１】
なお、閾値Ｃは予備的な数値実験を踏まえて経験的に０．２程度が適当である。実際の工事写真数枚を用いた予備的な分析によると、一般的な写真の場合、式（６）の左辺が偶然に閾値Ｃを下回る確率は０．１％以下である。
【００４２】
上記ではＣＣＤカメラで撮影された画像を前提に説明したが、ＣＭＯＳカメラなどの他のイメージセンサで撮影された画像についても式（６）により編集痕跡、つまり改竄を検出することができる。
【００４３】
画像はカラー画像およびグレースケール画像のいずれでもよい。グレースケール画像の場合、各色系列を独立に評価する必要がなくなる。
【００４４】
画像は動画であってもよい。動画は静止画が集まってできたものであるから、動画になされた編集も本例に係る画像改竄検出方法によって検出することができる。
【００４５】
≪実施形態≫
図１は、本発明の一実施形態に係る画像改竄検出装置の構成を示す。画像改竄検出装置は上記の画像改竄検出方法を実施するものであり、ノイズ抽出手段１０、演算手段２０、および判定手段３０を備えている。
【００４６】
ノイズ抽出手段１０は、入力された画像からノイズを抽出する。上記の例で言うと、ノイズ抽出手段１０は、画像群Ｄε’が入力されてΔＰｃｏｌ（ｘ’，ｙ’，ε’）を算定する。ノイズ抽出手段１０は、各画像からノイズを直接的に抽出してもよいし、ノイズ除去した画像を生成してからノイズ除去前後の画像の差分をノイズとして抽出してもよい。すなわち、ノイズ抽出手段１０に、上記例のdenoiseフィルタΦに該当するノイズフィルタ手段１２を設けて、入力画像とノイズフィルタ手段１２でdenoise処理した画像との差分をノイズΔＰｃｏｌとして算定してもよい。なお、denoise処理にはNon-Local-Means法のほか任意のアルゴリズムを用いることができる。
【００４７】
演算手段２０は、ノイズ抽出手段１０が抽出した複数の画像のノイズから複数の画像の画素値ごとのノイズの分散を算定し、複数の画像のいずれか一つの画像におけるＲＯＩのノイズの分散を算定し、複数の画像の画素値ごとのノイズの分散に基づいてＲＯＩのノイズの分散の期待値を算定する。上記の例で言うと、演算手段２０は、式（６ａ）のｖａｒＮｃｏｌ（ｉ）、式（６ｃ）のｖａｒＮｃｏｌＲＯＩ、および式（６ｂ）のｖａｒＮｃｏｌバーを算定する。
【００４８】
判定手段３０は、ＲＯＩのノイズの分散およびＲＯＩのノイズの分散の期待値に基づいてＲＯＩにおける改竄の有無を判定する。上記の例で言うと、判定手段３０は、式（６）に従ってＲＯＩにおける改竄の有無を判定する。
【００４９】
上記の各手段はデジタル回路などのハードウェアで実現してもよいし、コンピュータで実行可能なプログラムモジュールとしてコード化してもよい。また、上記の各手段は一つの装置に集約してもよいし、複数の装置に分散配置して各手段が実装された装置がネットワークで相互に接続されて協動するものであってもよい。また、本実施形態に係る画像改竄検出装置は、ネットワーク上の任意のサーバー上などに構成してＳａａＳ（Software as a Service）などのクラウドサービスとして提供することもできる。
【００５０】
≪利用例≫
次に、本実施形態に係る画像改竄検出装置を用いて工事写真の改竄検出を行う例を説明する。図２は、図１の画像改竄検出装置の利用例を模式的に示す。まず、前作業として、撮影された画像を似たような撮影環境・条件の画像群に分類しておく。工事写真の場合、同一の工事工程では似たような撮影環境・条件下で写真が撮影されると考えられるため、工事工程別に写真群を分類するとよい。
【００５１】
同一の工事工程の写真群を画像改竄検出装置に入力すると、装置内部では入力されたＮ枚の画像から式（６ａ）に従ってＮ枚の画像の画素値ごとのノイズの分散が算出される。一方、解析対象の工事写真が縦横ＲＯＩＸ×ＲＯＩＹのＲＯＩからなるグリッドに区分され、これを順に走査して式（６）に従って各ＲＯＩにおける改竄の有無が判定される。判定結果は、例えば、各写真のグリッドに分けられた領域ごとに表示される。
【００５２】
図３は、図１の画像改竄検出装置の入出力の例を示す。図３（Ａ）は、ある工事写真の左上の数箇所を矩形に塗り潰した場合の解析例を示す。なお、写真中の黒板の一部が黒く塗りつぶされているがこれは個人情報保護のためであり、改竄検出の対象ではない。図３（Ｂ）は、別の工事写真中の黒板を塗り潰した場合の解析例を示す。いずれの場合でも塗り潰された箇所、すなわち改竄箇所が検出され、その領域に対応するＲＯＩが黒く塗り潰されて表示される。利用者はこの判定結果を補助資料として、目視などで塗り潰し編集の有無を評価することができる。
【００５３】
図４は、画像改竄検出の作業フローの例を示す。図４（Ａ）は本発明に係る作業フローであり、図４（Ｂ）は電子透かしを利用した従来の作業フローである。例えば工事写真の改竄検出は、工事従事者が不正を行っていないことの傍証として利用するケースが想定される。この場合、工事従事者自身が検出性能に対して関与できないことが必要条件となる。電子透かしでは監理者や発注者などの信頼できる人の立ち合いのもとに撮影後に電子透かし処理が必要となる。しかし、監理者や発注者が立ち会うのは現状の実務上は現実的ではない。また、仮に立ち会えても電子透かし処理の時点ですでに編集されていた場合、その工事写真の改竄を検出できない。これに対して、本例に係る画像改竄検出方法によると、写真の編集時期を問わず工事写真が不正に編集されていたならそれを検出することができる。したがって、工事写真監理が容易であり、また、検出の信頼性が高い点で、本例に係る画像改竄検出方法は従来の手法と比較して優位性がある。
【００５４】
≪有効性の検証≫
次に、本例に係る画像改竄検出方法の有効性について検証した結果を示す。検証には水準Ｐ−１〜Ｐ−９の９種類の相異なる撮影環境・条件で撮影された画像群を用いた。水準Ｐ−１は晴天の屋外である。水準Ｐ−２は晴天下で窓がある室内である。水準Ｐ−３は暗い室内である。水準Ｐ−４は暗い室内でのフラッシュ撮影である。なお、水準Ｐ−１〜Ｐ−４の画像群はすべて同一のカメラを用いて撮影したものである。水準Ｐ−５〜Ｐ−９は実際の工事の各工程である。水準Ｐ−５は標準的な室内工事である金属建具工事であり、暗めの撮影環境である。水準Ｐ−６は標準的な屋外工事である外溝工事であり、一般的な屋外での撮影環境に近い。水準Ｐ−７は窓ガラス工事の写真であり、逆光の多い撮影環境である。水準Ｐ−８は解体工事であり、粉塵やカメラの汚れが多く発生する撮影環境である。水準Ｐ−９は工事の全工程からランダムに抽出した撮影環境である。なお、水準Ｐ−５〜Ｐ−９の画像群には手振れ写真が多く含まれる。
【００５５】
図５は、撮影環境が相異なる２つの画像のＲ系列の画素値ごとのノイズ分布の例を示す。これら２つの画像は、撮影環境も用いたカメラも異なるので、ΔＰＲの分布も大きく異なることが読み取れる。
【００５６】
図６は、ΔＰＲの分散ｖａｒＮＲ（ｉ）（式（６ａ）を参照）を各水準ごとに比較したグラフである。撮影環境が異なればｖａｒＮＲ（ｉ）が異なることがわかる。水準Ｐ−１〜Ｐ−４は同一のカメラで撮影しているにもかかわらずｖａｒＮＲ（ｉ）に大きな違いが生じている（図６左を参照）。例えば、水準Ｐ−３では、Ｒ画素値が大きい領域でｖａｒＮＲ（ｉ）が顕著に増大している。水準Ｐ−３は暗い部屋でフラッシュを用いない撮影を行った場合に相当するが、このような環境では一般に高感度な設定（例えば、デジタルカメラ上でＩＳＯ４００相当などと表示される。）へと自動的に変更されるために、このような現象が生じていると思われる。以上のように、撮影環境ごとにノイズ特性は異なる。
【００５７】
本例に係る画像改竄検出方法では、画素値ごとにノイズの分散ｖａｒＮｃｏｌ（ｉ）を異なるものとして評価する。この考え方は非特許文献１および２と異なる。図７は、画像全領域に対する飽和画素値の領域の面積率を各水準ごとに比較したグラフである。なお、ある領域が飽和しているか、単に白いだけであるかを判別する簡便な方法はないため、簡単のために画素値≧２５０をもって飽和とみなしている。図７における「一般的な写真」とは室内写真を例として用いた。水準Ｐ−５〜Ｐ−９の工事写真では顕著に飽和している画素が多いことがわかる（図７右を参照）。特に、コントラストの大きい環境（水準Ｐ−７）、室内で暗い場合でも粉塵が多いため強いライトがある環境（水準Ｐ−８）などでは、飽和画素値の面積率が顕著に上昇している。すなわち、工事写真に特有な劣悪な撮影環境は、画素値の飽和領域の上昇をもたらす。
【００５８】
一方、図６を見ると画素値が０および２５５に近い領域ではノイズ分散の期待値ｖａｒＮＲ（ｉ）が顕著に低下していることが読み取れる。すなわち、単にｖａｒＮｃｏｌＲＯＩで評価した場合、画素値の飽和領域では評価式は閾値Ｃを下回ることになり（式（６）を参照）、編集痕跡ありと誤検出されることになる。以上の分析をもとに、ノイズ分散の飽和領域での低下の適切な評価は、特に工事写真の判定において重要であり、画素値ごとに評価する（式（６ａ）および（６ｂ）を参照）ことは有効である。
【００５９】
式（６）では、ＲＧＢのすべての系列が閾値Ｃを下回れば編集痕跡ありと判定する。図８は、撮影環境が相異なる２つの画像群の画素値ごとのノイズの分散の例を示すグラフである。図８左は水準Ｐ−２の画像群の画素値ごとのノイズの分散を示し、図８右は水準Ｐ−５の画像群の画素値ごとのノイズの分散を示す。同じ水準の画像群であっても色系列ごとにｖａｒＮｃｏｌ（ｉ）が異なることがわかる。一方、図７の左右を比較すると、ＲＧＢ系列のいずれかが飽和していても他の系列が飽和していない可能性が高い。すなわち、ＲＧＢ系列のそれぞれを個別に評価することには意味がある。
【００６０】
図９は、水準Ｐ−６の画像のＲ系列とＧ系列の判定結果の例を示す。この画像ではウレタン塗装合板が画像下部に大きな面として写っており、画素値の飽和が生じてｖａｒＮＲＲＯＩ（ｉ）の低下が生じている。その結果、Ｒ系列単独では誤って編集痕跡ありと評価される。しかし、∀ｃｏｌ∈ＣＯＬ（式（６）を参照）の条件を付与することにより、Ｇ系列の判定結果を用いて、誤検出を避けることができる。特に工事写真では一般的な写真よりも、このような単一色の大きな面、例えば、塗床、ブルーシートなどの撮影が多いと予想される。したがって、∀ｃｏｌ∈ＣＯＬの条件は誤検出を防ぐ観点から工事写真の判定において特に有効であるといえる。
【００６１】
図１０は、同じ撮影環境の２つの画像群の画素値ごとのノイズの分散の相関と相異なる撮影環境の２つの画像群の画素値ごとのノイズの分散の相関とを示すグラフである。図１０左は、水準Ｐ−５を便宜的に２つの水準Ｐ−５ＡおよびＰ−５Ｂに分割し、これらの水準の画像群の画素値ごとのノイズの分散の相関を示す。図１０右は、水準Ｐ−６と水準Ｐ−７の各画像群の画素値ごとのノイズの分散の相関を示す。図１０左では回帰直線の傾きは１．０に近く、同じ撮影環境から画像を抽出した場合、別の画像であってもノイズの分散ｖａｒＮｃｏｌ（ｉ）は互いに近い値を示すことがわかる。一方、図１０右では回帰直線の傾きは１．０から大きく乖離しており、ノイズ特性は一致していない。以上のことから、工事写真の場合、同一工程の写真抽出という極めてルーズな作業上の制約を設けるだけで、ｖａｒＮｃｏｌ（ｉ）の推定精度の向上が可能である。
【００６２】
なお、Wilcoxon順位和検定によると、水準Ｐ−５Ａと水準Ｐ−５Ｂの２群には有意差（ｐ＜α＝０．０５）が確認された。これには、サンプルサイズが大きく検出力が高いことが影響しており（効果量ｒ＞０．５）、必ずしも大きな差があることを意味しない。本例に係る画像改竄検出方法の適用にあたっては、工事写真の本質的な多様性を考えて、同一工程の画像であっても厳密に同一のノイズ特性を示すわけではないことに留意する必要がある。また、天候が異なる複数日にまたがった屋外工事やマクロ撮影（例えば、材料受入時のラベル撮影）などでは、同一工程であっても画像のノイズ特性に変化が予想される。このような画像群に対して本例に係る画像改竄検出方法を用いる場合、検出性能の低下が予想されるので注意を要する。
【００６３】
≪検出性能の検証≫
次に、本例に係る画像改竄検出方法の検出性能について検証した結果を示す。検出性能を検証するために、画像処理ソフトを用いて工事写真に四角形の画像を書き込み、塗り潰し編集を模擬した。四角形の１辺は４，１６，３２，６４，１２８ピクセルであり、色は単色、グラデーション色、および人工的な均質ノイズを付加したグラデーション色の３つを設定した。なお、本例に係る画像改竄検出方法は画像をＲＧＢの各色系列ごとに独立に評価するので、灰色のみを用いても評価に影響はない。各四角形は左上端部の座標がＲＯＩＸ，ＲＯＩＹ（式（６ａ）を参照）の整数倍となるように配置した。なお、生成された編集後の画像はＥｘｉｆ情報に基づいて編集痕跡を検出できない。また、事前の処理を行っていないので電子透かしなども適用できない。
【００６４】
編集痕跡の検出性能の評価のために検出率Ｒｐおよび誤検出率Ｒｆｐを式（７ａ）および（７ｂ）のように定義する。本例に係る画像改竄検出方法ではＲＯＩごとに編集の有無を判定可能である。そこでＲＯＩを計数した面積率で評価することとした。簡単のために、編集された部分が一部でも含まれる場合、edited ROIとして評価した。
【００６５】
【数７ａ】
2014010736.tif 000012
【００６６】
【数７ｂ】
2014010736.tif 000013
【００６７】
図１１は、ＲＯＩの大きさと検出率および誤検出率との関係を示すグラフである。図１１左はＲＯＩの大きさと検出率との関係を示す。検出性能はある範囲までは８０％を超えており、十分な検出性能があることがわかる。図１２は、単色で塗り潰された編集領域の大きさを変えたときのＲＯＩの大きさと検出率との関係を示すグラフである。図１１左のグラフと比べると、編集領域の縦横ＥＨ×ＥＷの１辺がＲＯＩの１辺を下回ると、ほとんど編集痕跡を検出できなくなることがわかる。したがって、ＲＯＩの大きさは予想される編集領域よりも小さくなるように設定する必要がある。
【００６８】
以上のように、本例に係る画像改竄検出方法はＲＯＩよりも小さな編集部分を検出できないため、塗り潰し編集のうち、説明のための文字や矢印の記入などは検出できないことが多い。これら記号の記入が不正であることは少ないと予想されることから、特に工事写真の編集痕跡検出用としては望ましい特性であると考える。一方で、例えば、黒板を塗り潰して書き換える、部材をきれいに塗り潰すといった不正が疑われる事例では塗り潰し面積は大きくなることが予想される。このような編集に対しては十分な検出性能を持つと考える。
【００６９】
図１１右はＲＯＩの大きさと誤検出率との関係を示す。ＲＯＩの１辺が１６ピクセルを下回ると、誤検出率が上昇する傾向が観察された。本例に係る画像改竄検出方法はノイズ特性という確率的な事象を評価するので、標本ピクセル数が小さいと適切な判定ができなくなるためである。以上の分析から、ＲＯＩは縦横３２ピクセル以上で、かつ、予想される編集領域の大きさよりも小さくなるように設定するのがよい。以上の分析から、ＲＯＩを適応的に選択できるようになれば検出性能の向上が期待できる。
【００７０】
図１３は、編集領域の塗り潰し方法を変えたときのＲＯＩの大きさと検出率との関係を示すグラフである。図１３左は編集領域をグラデーション塗りした場合のＲＯＩの大きさと検出率との関係を示す。ＲＯＩの小さい領域では、検出性能の低下が単色塗り編集の場合（図１１左を参照）よりも大きいが、ＲＯＩの１辺が３２ピクセル以上では単色塗り編集の場合と同様の検出性能であった。以上の検討から、本例に係る画像改竄検出方法は色変化のある塗り潰し編集にも適用可能といえる。ただし、複雑なテクスチャー塗りについては、denoiseアルゴリズムの性能に依存して検出性能が低下する可能性も考えられる。
【００７１】
図１３右はグラデーション塗りされた編集領域に付加されたノイズと検出率との関係を示す。ノイズが０．５％を超えると、検出率は数％まで低下した。すなわち、デジタル写真のノイズについて十分な知識を持っていれば本例に係る画像改竄検出方法による検出は不正な意図をもって回避可能である。しかし、例えば工事監理の実務上必要な写真の編集作業によって意図せずにノイズを追加することはないと考えてよい。したがって、仮にノイズを追加するような作業が発見された場合には、不正の可能性が高いと判断できるといえる。ＲＧＢのビット列に過ぎないデジタル画像において、何らの予備的な処理（例えば、電子透かし）なくして、すべての編集作業の痕跡を検出するのは原理的に不可能である。本例に係る画像改竄検出方法の意義は、塗り潰し編集という限定した対象範囲について、工事監理作業上の負担を最小限にとどめながら不正な編集が行われた可能性のある領域を容易に指摘できる点にある。すなわち、本例に係る画像改竄検出方法は、不正の有無を評価するための補助資料を提供できる点で有利である。
【００７２】
一方、図１４は、上記の水準Ｐ−１〜Ｐ−９の誤検出率を示す箱ひげ図である。50percentileは水準Ｐ−１を除いて誤検出率０．５％を下回っており、大半の画像では誤検出率は極めて低く０．０％のものだけで過半数を占めた。図７左と比較すると、誤検出率の平均値は、飽和画素の面積率平均値よりも５０％以上低い。図７では飽和領域を小さく見積もっている点を考え合わせると、本例に係る画像改竄検出方法によって飽和部分の誤検出率が低減されたことがわかる。また、図７右と比較すると、飽和領域であってもＲＧＢのいずれかの系列が飽和していなければ誤検出とならないことが読み取れる。以上のように、本例に係る画像改竄検出方法は低い誤検出率を実現していることが確認された。
【００７３】
≪不検出性能の検証≫
次に、本例に係る画像改竄検出方法の不検出性能について検証した結果を示す。例えば、図４（Ａ）に示したように、撮影された画像はメールに添付されたり、回転、色調補正、ファイル圧縮率の変更、一部分の切り出しなどの編集がなされたりする。不検出性能とは画像に対するこれら編集については改竄として検出しない、すなわち、これら編集によって検出性能が劣化しないことをいう。なお、メール添付については本例に係る画像改竄検出方法による検出性能に何ら影響を与えないことは自明である。
【００７４】
例えば工事写真を整理する段階では、写真を撮影時の向きに表示すると便利である。多くのデジタルカメラは写真の向きを自動設定する機能を持たないので、画像処理ソフトによる画像の回転作業が必要となる。技術的にはこのような画像の回転は画像のビット列を変更せずに可能である。しかし、実際には多くの画像処理ソフトがこのようなロスレスな回転に対応しておらず、例えば工事写真の編集への広い普及は期待できない。ビット列の変更を伴って回転された画像は、電子透かしでは編集ありと判定される。しかし、工事監理上の必要性があるのであるから、本来的には、画像の回転作業を編集とみなさない、もしくは回転であってその他の編集でないと判別可能であることが望ましい。そこで、画像の回転の前後において本例に係る画像改竄検出方法による検出性能に差が生じないことを検証した。図１５は、画像の回転による検出性能の変化を示すグラフである。図１５左は９０度回転した場合の例、図１５右は１８０度回転した場合の例を示す。検出率には、回転の前後で大差がなかった。なお、本検証で用いた画像処理ソフトはロスレスな回転に対応していないためデータの再圧縮の過程で画像のノイズ特性に変化が生じる。この変化に起因して１８０度回転については検出性能は数％程度低下した。しかし、全画像で検出率が８０％以上を超えたことから、本例に係る画像改竄検出方法は編集痕跡の有無を判断するための補助的なツールとして十分な性能といえる。
【００７５】
例えば工事写真撮影では、照明設置前の内装工事など、撮影に必要な光量を十分に確保できない環境が多い。したがって、作業の効率上は、明るさやコントラストの補正によって見やすい写真を実現することは十分に合理的といえる。このような観点から、本例に係る画像改竄検出方法が色調補正を編集とみなさないことを検証した。経験的に明るさとコントラスト補正を同時に行わないと、写真は見にくくなることがわかっているため、明るさ補正値＝コントラスト補正値とした。図１６は、色調補正による検出性能の変化を示すグラフである。図１６左は検出率、図１６右は誤検出率を示す。図１６右の箱ひげ図の凡例は図１４に示した通りである。暗い部屋での撮影を補正する場合、経験的に補正値が＋４０以上の補正は見にくくなることを踏まえると、検出率の低下は非常に小さかった。また、誤検出率は飽和領域の上昇に伴って若干上昇傾向にあるものの、補正値が＋４０以下では十分に小さい。以上の分析から、色調補正を行っても本例に係る画像改竄検出方法の検出性能は低下しないと確認した。
【００７６】
例えば工事写真の場合、画総数に上限が設けられることがある。一方で、ファイル圧縮も協議なしでは認められない。したがって、撮影前にデジタルカメラの画質設定を行う必要がある。しかし、この設定作業を忘れて問題となる事例が報告されている。デジタルカメラの設定ミスは、建設工事の質とは直接的に関わりのないものであり、編集痕跡として検出しないことが望ましい。このような観点から本例に係る画像改竄検出方法の検出性能を検証した。圧縮率が高いほど検出性能の低下が大きいと予想されるので、すでに圧縮されている実際の画像ではなく、３０７２×２７０４ピクセルの高画質設定で撮影した画像を用いた。圧縮率、すなわち、元の画像サイズに対する比は、５０％および２５％の２つを設定した。図１７は、ファイル圧縮率の変更による検出性能の変化を示すグラフである。図１７左は検出率、図１７右は誤検出率を示す。ファイル圧縮によって検出性能は低下するが、圧縮率５０％で検出率８０％以上、誤検出率１％以下であった。２５％圧縮後のファイル画素数は約４０万画素であり、上述した画素数の上限（例えば、１００万画素以下）を下回っている。１００万画素程度では黒板の文字が見づらい場合があるとされていることを考えると、実務上、２５％以上の圧縮が必要となる場面は少ないと推測される。以上の分析から、ある程度のファイル圧縮を行っても本例に係る画像改竄検出方法が適用可能であることを確認した。なお、ノイズ特性を利用する類似手法（例えば、非特許文献１および２参照）では、圧縮率を変更すると編集痕跡を検出できない。したがって、本例に係る画像改竄検出方法の方が有利である。
【００７７】
例えば工事写真監理の作業上、画像の一部を切り出して拡大し、説明図とすることは必要性が高い。本例に係る画像改竄検出方法は画像内のＲＯＩごとのノイズ特性によって評価するものであるので、画像の切り出しによって検出性能が影響を受けないことは原理上自明である。念のため、画像を左上５０％および２５％で切り出して検出性能を検証した。図１８は、一部切り出しによる検出性能の変化を示すグラフである。図１８左は２５％を切り出し場合の例、図１８右は５０％を切り出し場合の例を示す。一部切り出しによって検出性能に若干の差が生じているが、これは、画像が小さくなるごとに誤検出されるＲＯＩがたまたま画像左上に近い場合に、誤検出率が見かけ上上昇しているに過ぎない。以上の結果から、画像の一部切り出しの影響を受けないことを数値実験からも確認した。なお、ノイズ特性を利用する類似手法（例えば、非特許文献１および２参照）では、画像の一部を切り出すと編集痕跡を検出できない。また、レンズ特性やＪＰＥＧ量子化テーブルを利用する別の手法も利用できない。したがって、本例に係る画像改竄検出方法の方が有利である。
【産業上の利用可能性】
【００７８】
本発明に係る画像改竄検出装置は、一般的なデジタルカメラで撮影された画像について、回転、色調補正、ファイル圧縮率の変更、一部の切り出しなどの通常の編集は改竄として検出せずに、塗り潰しや書き込みなどの不正な編集を改竄として検出することができるため、工事写真の改竄検出に有用である。
【符号の説明】
【００７９】
１０  ノイズ抽出手段
１２  ノイズフィルタ手段
２０  演算手段
３０  判定手段
【図１】
2014010736.tif 000014
【図２】
2014010736.tif 000015
【図４】
2014010736.tif 000016
【図５】
2014010736.tif 000017
【図７】
2014010736.tif 000018
【図８】
2014010736.tif 000019
【図９】
2014010736.tif 000020
【図１０】
2014010736.tif 000021
【図１１】
2014010736.tif 000022
【図１２】
2014010736.tif 000023
【図１３】
2014010736.tif 000024
【図１４】
2014010736.tif 000025
【図１５】
2014010736.tif 000026
【図１６】
2014010736.tif 000027
【図１７】
2014010736.tif 000028
【図１８】
2014010736.tif 000029
【図３】
2014010736.tif 000030
【図６】
2014010736.tif 000031