(57)【要約】【課題】時間の経過に応じて変化する変化要因を有する複数の画像を比較する場合に、適正な画像の差分を取得することを課題とする。【解決手段】画像Ｂに対して指定領域を設定し、設定された指定領域を画像Ｂから抽出した部分画像Ｂ’をテンプレートとして画像Ａ内で移動させつつ相関値を求め、該相関値が閾値Ｔ以上となる画像Ａ内の領域を特定する処理を、閾値Ｔを変化させつつ繰り返し、部分画像Ｂ’と部分画像Ａ’との差分画像Ｃを生成した後、該差分画像Ｃと部分画像Ｂ’を重畳した重畳画像Ｄを生成して表示部１２等に出力する。【選択図】図１
2019185344.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置であって、
前記第１の画像に対して第１の領域を設定する設定手段と、
前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段と
を備える画像処理装置。
【請求項２】
前記差分画像生成手段により生成された差分画像と前記第１の画像内の前記第１の領域の部分画像とを重畳した重畳画像を生成する重畳画像生成手段をさらに備える請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像は、第１の時点で取得された画像であり、前記第２の画像は、前記第１の時点と異なる第２の時点で取得された前記第１の画像の比較対象となる画像である請求項１又は２に記載の画像処理装置。
【請求項４】
前記相関値は、前記第１の画像内の前記第１の領域の部分画像と、前記第１の領域がテンプレートとして適用された前記第２の画像内の部分画像との相互相関係数を０〜１の範囲に正規化された正規化相互相関係数である請求項１乃至３のいずれか一つに記載の画像処理装置。
【請求項５】
前記領域特定手段は、前記閾値を所定の値だけ下げつつ前記相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を繰り返し、前記閾値が所定の下限閾値に達した場合に処理を終了する請求項４に記載の画像処理装置。
【請求項６】
前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手段をさらに備え、
前記領域特定手段は、前記マスク処理手段によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、
前記差分画像生成手段は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する
請求項１乃至５のいずれか一つに記載の画像処理装置。
【請求項７】
前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の指定を受け付ける受付手段と、
前記差分画像生成手段により生成された差分画像のうちの前記マスク領域を形成する画素の画素値を所定の画素値に置換する置換手段と
をさらに備える請求項１乃至５のいずれか一つに記載の画像処理装置。
【請求項８】
第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理システムであって、
前記第１の画像に対して第１の領域を設定する設定手段と、
前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段と
を備える画像処理システム。
【請求項９】
第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置における画像処理方法であって、
前記第１の画像に対して第１の領域を設定する設定工程と、
前記設定工程により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定工程と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成工程と
を含む画像処理方法。
【請求項１０】
第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置において実行する画像処理プログラムであって、
前記第１の画像に対して第１の領域を設定する設定手順と、
前記設定手順により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手順と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手順と
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間の経過に応じて変化する変化要因を有する２つの画像を比較する場合に、適正な画像の差分を取得することができる画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、２つの画像の差分を差分画像として出力する技術が知られている。例えば、「ＯｐｅｎＣＶ（登録商標）」と呼ばれるオープンソースのコンピュータ・ビジョン・ライブラリの画像比較メソッドでは、画像サイズが同一である２つの画像間の比較を行うことにより、２つの画像間の差分となる画素に所定の画素値を付与した差分画像が出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３２１８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記ＯｐｅｎＣＶの画像比較メソッドを用いて、アプリ画面等を異なるタイミングでキャプチャーした複数の画像を比較する場合に、実際に比較したい領域から外れた場所（例えば、ファイルパスやＵＲＬ等）で差分が抽出されてしまうという問題が生ずる。ファイルパスやＵＲＬ等は、時間の経過に応じて変化する場合があるためである。なお、かかるキャプチャーとは、ディスプレイ等の表示部に表示されている画像又は動画像を画像データとしてファイルに保存する周知技術である。加えて、複数の画像が若干ずれている場合に、差分が全体的に現れてしまい、比較結果としての意味を持たなくなるという問題もある。
【０００５】
このため、特許文献１を用いて、実際に比較したい領域から外れた場所を除外するように画像から所定領域を抽出し、これをテンプレート画像とマッチング処理して、相関値が最大となる領域を比較対象として特定し、特定した領域とテンプレート画像とを比較する方策が考えられる。しかし、この特許文献１のものは、画像から抽出された所定領域内に時間の経過に応じて変化する変化要因が含まれている場合に、思わぬ領域が比較対象として特定されてしまう可能性がある。ファイルパス、ＵＲＬ、広告、お勧めコンテンツ等の時間の経過に応じて変化する変化要因が実際に比較したい領域に含まれている場合には、本来の比較対象となるべき領域の相関値が低下してしまうためである。
【０００６】
このため、時間の経過に応じて変化する変化要因が画像に含まれている場合に、いかにして適正な画像の差分を取得するかが重要な課題となっている。
【０００７】
本発明は、上記の課題を解決するためになされたものであって、時間の経過に応じて変化する変化要因を有する複数の画像を比較する場合に、適正な画像の差分を取得することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置であって、前記第１の画像に対して第１の領域を設定する設定手段と、前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段とを備える。
【０００９】
また、本発明は、上記の発明において、前記差分画像生成手段により抽出された差分画像と前記第１の画像内の前記第１の領域の部分画像とを重畳した重畳画像を生成する重畳画像生成手段をさらに備える。
【００１０】
また、本発明は、上記の発明において、前記第１の画像は、第１の時点で取得された画像であり、前記第２の画像は、前記第１の時点と異なる第２の時点で取得された前記第１の画像の比較対象となる画像である。
【００１１】
また、本発明は、上記の発明において、前記相関値は、前記第１の画像内の前記第１の領域の部分画像と、前記第１の領域がテンプレートとして適用された前記第２の画像内の部分画像との相互相関係数を０〜１の範囲に正規化された正規化相互相関係数である。
【００１２】
また、本発明は、上記の発明において、前記領域特定手段は、前記閾値を所定の値だけ下げつつ前記相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を繰り返し、前記閾値が所定の下限閾値に達した場合に処理を終了する。
【００１３】
また、本発明は、上記の発明において、前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手段をさらに備え、前記領域特定手段は、前記マスク処理手段によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、前記差分画像生成手段は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する。
【００１４】
また、本発明は、上記の発明において、前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の指定を受け付ける受付手段と、前記差分画像生成手段により生成された差分画像のうちの前記マスク領域を形成する画素の画素値を所定の画素値に置換する置換手段とをさらに備える。
【００１５】
また、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理システムであって、前記第１の画像に対して第１の領域を設定する設定手段と、前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段とを備える。
【００１６】
また、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置における画像処理方法であって、前記第１の画像に対して第１の領域を設定する設定工程と、前記設定工程により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定工程と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成工程とを含む。
【００１７】
また、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置において実行する画像処理プログラムであって、前記第１の画像に対して第１の領域を設定する設定手順と、前記設定手順により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手順と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手順とをコンピュータに実行させる。
【発明の効果】
【００１８】
本発明によれば、時間の経過に応じて変化する変化要因を有する複数の画像を比較する場合に、適正な画像の差分を出力することが可能となる。特に、複数の画像の比較したい領域以外に差分がある場合や複数の画像にずれが存在する場合であっても、適正な画像の差分を出力することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本実施の形態１に係る画像処理装置の概念を説明するための説明図である。
【図２】図２は、従来技術の問題点を説明するための説明図（１）である。
【図３】図３は、従来技術の問題点を説明するための説明図（２）である。
【図４】図４は、本実施の形態１に係る画像処理装置１０の構成を示す機能ブロック図である。
【図５】図５は、画像からの指定領域の抽出の一例を示す図である。
【図６】図６は、差分画像及び重畳画像の一例を示す図である。
【図７】図７は、図４に示した画像処理装置の処理手順を示すフローチャートである。
【図８】図８は、本実施の形態２に係る画像処理装置の概念を説明するための説明図である。
【図９】図９は、本実施の形態２に係る画像処理装置の構成を示す機能ブロック図である。
【図１０】図１０は、マスク処理の一例を示す図である。
【図１１】図１１は、図９に示した画像処理装置の処理手順を示すフローチャートである。
【図１２】図１２は、変形例に係る画像処理装置の概念を説明するための説明図である。
【図１３】図１３は、変形例に係る画像処理装置の処理手順を示すフローチャートである。
【図１４】図１４は、ハードウエア構成の一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、添付図面を参照して、本実施の形態に係る画像処理装置、画像処理方法及び画像処理プログラムについて説明する。以下に示す実施の形態では、テストツールによって画面をキャプチャーした２つの画像Ａ及び画像Ｂを比較する場合を示している。なお、インターネット上のウエブページの情報を画面上に表示するための閲覧ソフトであるブラウザを用いて表示されたウエブページをキャプチャーした画像を対象とする場合を示すこととする。
【００２１】
［実施の形態１］
＜画像処理装置１０の概念＞
まず、本実施の形態１に係る画像処理装置１０の概念について説明する。図１は、本実施の形態１に係る画像処理装置１０の概念を説明するための説明図である。ここでは、あらかじめコンピュータにテストツールをインストールし、このテストツールによってテストを行う度に画面をキャプチャーして画像を取得する場合を示している。
【００２２】
かかるコンピュータが本実施の形態１に係る画像処理装置１０であっても良いし、これらの画像をコンピュータから受信した装置が本実施の形態１に係る画像処理装置１０であっても良い。なお、図１では、テストツールがｎ回目のテスト（第１の時点でのテスト）を実行中にキャプチャーした画像Ａと、ｎ＋１回目のテスト（第２の時点でのテスト）を実行中にキャプチャーした画像Ｂとを比較する状況を示している。
【００２３】
ここで、従来技術を用いて２つの画像を比較する場合の問題点について説明する。図２は、従来技術を用いて２つの画像を比較する場合の第１の問題点を説明するための説明図である。同図に示すように、例えばウエブページの画面をキャプチャーした２つの画像Ａ及び画像Ｂを比較する場合に、領域Ｂ１として図示したように、画像Ｂに含まれるＵＲＬ（https://XYZ…）が画像Ａに含まれるＵＲＬ（https://ABC…）と異なる場合がある。また、領域Ｂ２として図示したように、画像Ｂでは画像Ａに存在しない新たなタブが存在する場合もある。このように、画像Ａと画像Ｂが相違する場合に、該画像Ａと画像Ｂの差分を示す差分画像Ｃを生成したならば、図２の差分画像Ｃに示した差分が生ずる。ここで、画像Ａと画像Ｂを比較する本来の目的は、かかるブラウザに起因する差違ではないため、上記の領域Ｂ１及びＢ２の差分はノイズとなる。
【００２４】
また、図３は、従来技術を用いて２つの画像を比較する場合の第２の問題点を説明するための説明図である。同図に示すように、画像Ａをキャプチャーする場合と画像Ｂをキャプチャーする場合とで、画像が位置ずれを起こす場合がある。何らかの事情で、画像Ｂの画面がスクロールアップされたような場合が該当する。このような場合に、２つの画像Ａと画像Ｂの単なる差分画像を抽出すると、全体的にずれが顕在化した差分が得られてしまい、意味をなさなくなる。
【００２５】
このため、本実施の形態１に係る画像処理装置１０では、図２又は図３に示したような画像Ａ及び画像Ｂが取得された場合であっても、本来意図しない部分の差分を抽出せず、また画像の位置ずれにも対応することができ、もって両画像の適正な差分を抽出できるようにしている。
【００２６】
図１に示すように、まず画像Ｂにおいて指定領域を設定し（Ｓ１１）、該領域の部分画像Ｂ’を抽出する（Ｓ１２）。かかる指定領域の設定については、ユーザ操作により指定領域を設定する場合と、自動的に指定領域を設定する場合とがある。ユーザ操作による指定領域の設定の一例としては、ユーザにより画像Ｂの２つの位置が指定されたことを条件として、この２つの位置を左上部及び右下部とする矩形領域の部分画像Ｂ’を抽出する場合が該当する。また、指定領域の自動設定の一例としては、あらかじめブラウザの領域（表示枠が含まれない領域）をテンプレートとして登録しておき、テンプレートマッチングを用いて画像Ｂからテンプレートに対応する領域を特定し、特定した領域の部分画像Ｂ’を自動抽出する場合が該当する。かかる部分画像Ｂ’を抽出することにより、ブラウザの表示枠の表示内容（ＵＲＬ、タブ等）を除外することができる。
【００２７】
このようにして、部分画像Ｂ’が抽出されたならば、この部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行い（Ｓ１３）、相関値が閾値Ｔ以上であるものが存在したならば、該相関値を有する画像Ａの領域を部分画像Ｂ’に対応する領域として特定する（Ｓ１４）。ただし、本実施の形態１では、かかる閾値を１．０から０．０１刻みで順次下げながらテンプレートマッチングを行う。このように、本実施の形態１では、相関値の比較の対象となる閾値を１．０から順次下げつつテンプレートマッチングを行っている。
【００２８】
具体的には、まず部分画像Ｂ’を画像Ａの左上部に位置付けた状態で正規化相互相関係数などの相関値を求め、この相関値が所定の閾値以上であるか否かを判定する。そして、相関値が所定の閾値以上でない場合には、画像Ａ上で一画素だけ部分画像Ｂ’をずらして相関値を求め、この相関値が所定の閾値以上であるか否かを判定する。このように、画像Ａ上で部分画像Ｂ’をずらしながら相関値を求め、相関値が所定の閾値以上であるものが存在したならば、該相関値を有する画像Ａの領域を部分画像Ｂ’に対応する領域として特定する。これに対して、相関値が閾値以上とならない場合には、閾値を所定値下げて同様の処理を行う。例えば、前回の閾値が「０．９８」である場合には、次回の閾値を「０．９８」として同様の処理を繰り返す。なお、閾値の下げ幅は任意に設定することができる。かかる一連の処理を行うことで、画像Ａのある領域における相関値が閾値を上回る場合には、この領域に対応する部分画像Ａ’が抽出される（Ｓ１５）。なお、閾値が「０．８０」以上となるものが存在するまで繰り返し、相関値が閾値０．８０を超えない場合には「該当なし」と出力する。
【００２９】
本実施の形態１に係る画像処理装置１０が、閾値を変動させながらテンプレートマッチングを行う理由は、画像処理装置１０が多数の画像比較を行わねばならない場合に、閾値を用いた優先順位付けを可能にするためである。つまり、閾値を用いて多数の画像をソートして、閾値の低い画像から順次ユーザが目視による確認を行うことにより、より差分が顕著に表れている画像に優先的に対応することができる。
【００３０】
その後、部分画像Ｂ’と部分画像Ａ’の差分画像を生成する（Ｓ１６）。例えば、画像Ａと画像Ｂが白黒２値画像である場合には、部分画像Ｂ’を形成する各画素の画素値と、部分画像Ａ’の対応する画素の画素値との差の絶対値を取れば良い。また、画像Ａと画像Ｂが白黒濃淡画像（例えば２５６階調）である場合には、部分画像Ｂ’を形成する各画素の画素値と、部分画像Ａ’の対応する画素の画素値との差の絶対値を取り、この差の絶対値が所定の値以上である画素に所定の画素値を付与すれば良い。また、画像Ａと画像Ｂがカラー画像（例えばＲＧＢそれぞれが２５６階調）である場合には、部分画像Ｂ’を形成するＲプレーン、Ｇプレーン、Ｂプレーンの各画素の画素値と、部分画像Ａ’の対応するプレーンの画素の画素値との差の絶対値を取り、その２乗和平方根の値を差分画像Ｃの各画素値とすることができる。なお、ＲＧＢ表色系をＸＹＺ表色系、Ｌ*ａ*ｂ*表色系、Ｌ*ｕ*ｖ*表色系、マンセル表色系等に座標変換し、各プレーンの差分画像Ｃを取得することもできる。なお、かかる差分画像Ｃを生成する場合に、画像内のオブジェクト単位で変更箇所を表示するよう構成することもできる。
【００３１】
その後、差分画像Ｃと部分画像Ｂ’を重畳した重畳画像Ｄを生成する（Ｓ１７）。例えば、部分画像Ｂ’がカラー画像である場合には、差分画像Ｃの画素値をＲプレーンの画素値として重畳する。これにより、ユーザは、かかる重畳画像Ｄの赤色部分を視認することにより、画像Ｂのどの領域が画像Ａから変化しているのかを把握することができる。また、テンプレートマッチングにより部分画像Ｂ’に対応する部分画像Ａ’を抽出しているため、画像Ｂが画像Ａとの間で位置ずれを起こしている場合にも、適正に差分を抽出することができる。
【００３２】
＜画像処理装置１０の構成＞
次に、本実施の形態１に係る画像処理装置１０の構成について説明する。図４は、本実施の形態１に係る画像処理装置１０の構成を示す機能ブロック図である。同図に示すように、この画像処理装置１０は、入力部１１と、表示部１２と、通信Ｉ／Ｆ部１３と、記憶部１４と、制御部１５とを有する。
【００３３】
入力部１１は、キーボードやマウス等の入力デバイスであり、表示部１２は、液晶パネルやディスプレイ装置等の表示デバイスである。通信Ｉ／Ｆ部１３は、上位装置との通信等を行う通信インターフェース部である。
【００３４】
記憶部１４は、ハードディスク装置又は不揮発性メモリ等の２次記憶媒体であり、画像Ａ、画像Ｂ、部分画像Ｂ’、部分画像Ａ’、差分画像Ｃ及び重畳画像Ｄ等を記憶する。画像Ａは、テストツールがｎ回目のテスト（第１の時点でのテスト）を実行中にキャプチャーした画像であり、画像Ｂは、テストツールがｎ＋１回目のテスト（第２の時点でのテスト）を実行中にキャプチャーした画像である。部分画像Ｂ’は、画像Ｂから抽出された指定領域の部分画像であり、部分画像Ａ’は、部分画像Ｂ’に対応する画像Ａの領域の部分画像である。差分画像Ｃは、部分画像Ａ’と部分画像Ｂ’の差分を示す画像であり、重畳画像Ｄは、差分画像Ｃを部分画像Ｂ’に重畳した画像である。なお、ここでは説明の便宜上、画像Ａ及び画像Ｂに関わる画像を記憶する場合を示したが、多数の画像が存在する場合には、それぞれの画像に対応する部分画像、差分画像及び重畳画像が記憶される。また、テンプレートマッチングを行う際の閾値を重畳画像に対応付けて記憶する。
【００３５】
制御部１５は、画像処理装置１０の全体制御を行う制御部であり、設定部１５ａと、領域特定部１５ｂと、差分抽出部１５ｃと、重畳画像生成部１５ｄと、出力部１５ｅとを有する。設定部１５ａは、画像Ｂに対して指定領域を設定する設定部である。あらかじめ指定領域に関する条件が指定された場合に、この指定領域をテンプレートとするテンプレートマッチングを行うことで、画像Ｂに対して指定領域を自動的に設定することができる。また、ユーザによる操作によって矩形領域の指定を受け付け、受け付けた矩形領域を指定領域として設定することもできる。
【００３６】
そして、この設定部１５ａにより指定領域が設定されたならば、画像Ｂから指定領域に対応する部分画像Ｂ’が抽出され、抽出された部分画像Ｂ’が記憶部１４に格納される。例えば、図５に示した画像Ｂに指定領域が設定されたならば、この指定領域を画像Ｂから切り出して部分画像Ｂ’を抽出する。
【００３７】
領域特定部１５ｂは、指定領域の部分画像Ｂ’をテンプレートとして画像Ａ内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる画像Ａの領域を特定する処理（テンプレートマッチング処理）を、閾値を変化させつつ繰り返す処理部である。かかる相関値としては、例えば相関値を０〜１の範囲に正規化する正規化相互相関係数を用いることができる。ＯｐｅｎＣＶによるテンプレートマッチングを行う場合には、CV_TM_CCOEFF_NORMED（正規化相関係数）を用いることができる。
【００３８】
例えば、図６に示す部分画像Ｂ'が抽出されたならば、この部分画像Ｂ'をテンプレートとして画像Ａとの間でテンプレートマッチングを行う。当初は、閾値を高く設定し（例えば、１．０）、徐々に閾値を低下させつつ同様の処理を行って、相関値が閾値以上となる画像Ａの領域を特定する。その後、画像Ａから該当する領域の部分画像Ａ'が抽出される。
【００３９】
差分抽出部１５ｃは、画像Ｂ内の部分画像Ｂ’と、該部分画像Ｂ’に対応する画像Ａ内の領域の部分画像Ａ’との差分画像Ｃを抽出する処理部である。かかる差分を抽出する場合に、オブジェクト単位で差分を抽出することもできる。例えば、図６においては、図中に斜線で示した「車両のＣＭ部分」が差分として抽出された状況を示している。なお、この差分画像Ｃに差分を示す画素が存在する場合には、該差分画像Ｃが記憶部１４に格納される。
【００４０】
重畳画像生成部１５ｄは、差分画像Ｃと部分画像Ｂ’とを重畳した重畳画像Ｄを生成する処理部である。例えば、図６においては、図中に斜線で示した「車両のＣＭ部分」が部分画像Ｂ’に重畳された状況を示している。また、この重畳画像Ｄは、テンプレートマッチング時の閾値が対応付けられた状態で記憶部１４に格納される。なお、記憶部１４内に差分画像Ｃが存在しない場合には、重畳画像Ｄを生成しない。
【００４１】
出力部１５ｅは、画像Ａ及び画像Ｂの比較結果を出力する処理部である。例えば、表示部１２に重畳画像Ｄ及び閾値を表示出力する。また、多数の画像が存在する場合には、各重畳画像Ｄを閾値でソートして、閾値の低い順に表示出力することもできる。さらに、上位装置に対して、画像Ａ、画像Ｂ、重畳画像Ｄ（閾値を含む）を送信出力することもできる。
【００４２】
＜画像処理装置１０の処理手順＞
次に、図４に示した画像処理装置１０の処理手順について説明する。図７は、図４に示した画像処理装置１０の処理手順を示すフローチャートである。ここでは、画像Ａ及び画像Ｂがあらかじめ取得されているものとする。
【００４３】
図４に示すように、画像処理装置１０は、画像Ｂから指定領域の部分画像Ｂ’を抽出し（ステップＳ１０１）、閾値Ｔを「１．０」に初期設定する（ステップＳ１０２）。その後、部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行って相関値を抽出し（ステップＳ１０３）、該相関値が閾値Ｔ以上であるか否かを判定する（ステップＳ１０４）。具体的には、画像Ａの左上部の位置に部分画像Ｂ’を位置付けた状態で相関値を求め、この相関値が閾値Ｔ以上であるか否かを判定する。そして、相関値が閾値Ｔ以上でない場合には、画像Ａ上で一画素だけ部分画像Ｂ’をずらして相関値を求め、この相関値が閾値Ｔ以上であるか否かを判定する。同様にして画像Ａ上で部分画像Ｂ’をずらしながら相関値を求める。このように、画像Ａ上で部分画像Ｂ’をずらしながら相関値を求め、相関値が閾値Ｔ以上である領域が存在するか否かを判定する。
【００４４】
そして、画像Ａ上に相関値が閾値Ｔ以上となる領域が存在しない場合には（ステップＳ１０４；ＮＯ）、閾値Ｔから「０．０１」を減算し（ステップＳ１０５）、閾値Ｔが０．８以上であるならば（ステップＳ１０６；ＮＯ）、ステップＳ１０３に移行して同様の処理を繰り返す。一方、閾値Ｔが０．８未満であるならば（ステップＳ１０６；ＹＥＳ）、部分画像Ｂ’に対応する領域が存在しないものとして処理を終了する。
【００４５】
これに対して、上記のステップＳ１０４において、相関値が閾値Ｔ以上となる領域が存在したならば（ステップＳ１０４；ＹＥＳ）、画像Ａから該領域の部分画像Ａ’を抽出し（ステップＳ１０７）、抽出した部分画像Ａ’と部分画像Ｂ’の差分画像Ｃを生成する（ステップＳ１０８）。
【００４６】
そして、差分画像Ｃが存在するならば（ステップＳ１０９；ＹＥＳ）、差分画像Ｃと部分画像Ｂ’とを重ねた重畳画像Ｄを生成して（ステップＳ１１０）、上記一連の処理を終了する。なお、ここでは説明の便宜上その説明を省略したが、部分画像Ｂ’、部分画像Ａ’、差分画像Ｃ及び重畳画像Ｄは記憶部１４に格納される。
【００４７】
なお、ここでは部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行う際に、相関値が閾値Ｔ以上となる画像Ａ内の領域が一つ存在すると判定された場合に、差分画像Ｃの生成を行うこととしたが、相関値が閾値Ｔ以上となる画像Ａ内の領域が複数存在する可能性がある。このため、相関値が閾値Ｔ以上となる画像Ａ内の領域の部分画像Ａ’を全て抽出し、それぞれの差分画像Ｃ及び重畳画像Ｄを生成するよう処理することもできる。
【００４８】
上述してきたように、本実施の形態１では、画像Ｂに対して指定領域を設定し、設定された指定領域を画像Ｂから抽出した部分画像Ｂ’をテンプレートとして画像Ａ内で移動させつつ相関値を求め、該相関値が閾値Ｔ以上となる画像Ａ内の領域を特定する処理を、閾値Ｔを変化させつつ繰り返し、部分画像Ｂ’と部分画像Ａ’との差分画像Ｃを生成した後、該差分画像Ｃと部分画像Ｂ’を重畳した重畳画像Ｄを生成して表示部１２等に出力するよう構成したので、時間の経過に応じて変化する変化要因を有する複数の画像を比較する場合に、適正な画像の差分を取得することができる。特に、本来の比較対象ではない部分が画像に含まれる場合や画像の位置ずれが存在する場合であっても、適正に画像を比較することができる。
【００４９】
また、部分画像Ｂ’と画像Ａのテンプレートマッチングにより部分画像Ｂ’に対応する画像Ａの領域を特定した際の閾値Ｔを出力することにより、多数の画像が存在する場合に、この閾値Ｔに基づいて画像をソートし、より変化が大きい画像から順次画像比較を行うことができるという効果が得られる。
【００５０】
［実施の形態２］
ところで、上記実施の形態１では、２つの画像Ａ及び画像Ｂに存在するブラウザ上のＵＲＬ、タブ、表示倍率等の比較すべき領域外の差違を除去する場合を示したが、本来、比較すべき領域内に広告等のノイズが存在する場合もある。このため、以下に示す実施の形態２では、比較すべき領域内に広告等のノイズをマスク処理しつつ画像比較を行う場合を示すこととする。
【００５１】
＜画像処理装置２０の概念＞
まず、本実施の形態２に係る画像処理装置２０の概念について説明する。図８は、本実施の形態２に係る画像処理装置２０の概念を説明するための説明図である。なお、実施の形態１と同様の部分については、その詳細な説明を省略する。
【００５２】
図８に示すように、この画像処理装置２０は、まず画像Ｂに対する指定領域を設定した後（Ｓ２１）、この指定領域の一部をなすマスク領域Ｍを設定する（Ｓ２２）。指定領域内に含まれている比較対象とすべきではない広告内容などの事項を除外するためである。
【００５３】
その後、マスク領域Ｍを含む指定領域の部分画像Ｂ’を抽出する（Ｓ２３）。ここで、かかるマスク領域Ｍの各画素には所定の画素値（例えば２５６階調の「０」又は「２５５」）を設定する。このようにすることにより、指定領域内に含まれるノイズを除外することができる。なお、かかるマスク領域Ｍは、指定領域内に含まれている比較対象とすべきではない広告内容などが含まれ、相関値の算出対象外とすべき領域である。
【００５４】
部分画像Ｂ’が抽出されたならば、この部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行い（Ｓ２４）、相関値が所定の閾値以上であるものが存在したならば、該相関値を有する画像Ａの領域を部分画像Ｂ’に対応する領域として特定する（Ｓ２５）。ただし、マスク領域Ｍを形成する各画素については、相関値の対象外とする。
【００５５】
そして、画像Ａのある領域における相関値が閾値を上回る場合には、この領域に対応する部分画像Ａ’を抽出する（Ｓ２６）。なお、閾値が「０．８０」以上となるものが存在するまで繰り返し、相関値が閾値０．８０を超えない場合には「該当なし」と出力する。
【００５６】
その後、部分画像Ｂ’と部分画像Ａ’の差分画像Ｃを生成する（Ｓ２７）。ただし、マスク領域Ｍについては、差分を算出しない。その後、差分画像Ｃと部分画像Ｂ’を重畳した重畳画像Ｄを生成する（Ｓ２８）。この際、部分画像Ｂ’にはマスク領域Ｍが含まれるため、重畳画像Ｄにおいてもマスク領域Ｍが含まれる。
【００５７】
このように、画像Ｂにおいて指定領域を設定した際に、この指定領域に比較対象外の広告内容等が含まれている場合には、かかる広告内容等にマスク領域Ｍを設定することにより、画像の相関値を算出する際の広告内容等の影響を除外することができるため、適正に差分を抽出することができる。
【００５８】
＜画像処理装置２０の構成＞
次に、本実施の形態２に係る画像処理装置２０の構成について説明する。図９は、本実施の形態２に係る画像処理装置２０の構成を示す機能ブロック図である。同図に示すように、この画像処理装置２０は、入力部１１と、表示部１２と、通信Ｉ／Ｆ部１３と、記憶部１４と、制御部２１とを有する。
【００５９】
制御部２１は、画像処理装置２０の全体制御を行う制御部であり、設定部２１ａと、領域特定部２１ｂと、差分抽出部２１ｃと、重畳画像生成部２１ｄと、出力部２１ｅとを有する。設定部２１ａは、画像Ｂに対して指定領域を設定するとともに、指定領域内の除外対象となるマスク領域Ｍを設定する設定部である。かかるマスク領域Ｍは、あらかじめマスク領域Ｍに関する条件が指定された場合に、このマスク領域Ｍをテンプレートとするテンプレートマッチングを行うことで、画像Ｂに対してマスク領域を自動的に設定することができる。また、ユーザによる操作によって領域の指定を受け付け、受け付けた領域をマスク領域Ｍとして設定することもできる。
【００６０】
そして、この設定部２１ａにより指定領域及びマスク領域Ｍが設定されたならば、画像Ｂから指定領域に対応する部分画像Ｂ’が抽出され、この部分画像Ｂ’のマスク領域Ｍに対応する画素に所定の画素値が設定され、記憶部１４に格納される。例えば、図１０に示す画像Ｂにおいて、指定領域及びマスク領域Ｍが設定されたならば、マスク領域Ｍの画素の画素値が所定の画素値に置き換えられた部分画像Ｂ’が抽出される。
【００６１】
領域特定部２１ｂは、指定領域の部分画像Ｂ’をテンプレートとして画像Ａ内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる画像Ａの領域を特定する処理（テンプレートマッチング処理）を、閾値を変化させつつ繰り返す処理部である。なお、相関値を算出する際に、マスク領域Ｍの画素値は考慮されない。
【００６２】
差分抽出部２１ｃは、画像Ｂ内の部分画像Ｂ’と、該部分画像Ｂ’に対応する画像Ａ内の領域の部分画像Ａ’との差分画像Ｃを抽出する処理部である。かかる差分を抽出する場合に、マスク領域Ｍは対象外となる。
【００６３】
重畳画像生成部２１ｄは、差分画像Ｃと部分画像Ｂ’とを重畳した重畳画像Ｄを生成する処理部である。なお、マスク領域Ｍについても重畳画像Ｄに含まれる。出力部２１ｅは、画像Ａ及び画像Ｂの比較結果を出力する処理部である。
【００６４】
＜画像処理装置２０の処理手順＞
次に、図８に示した画像処理装置２０の処理手順について説明する。図１１は、図８に示した画像処理装置２０の処理手順を示すフローチャートである。
【００６５】
図１１に示すように、画像処理装置１０は、画像Ｂから指定領域の部分画像Ｂ’を抽出した後（ステップＳ２０１）、マスク領域Ｍを形成する画素の画素値を所定の値に置換し（ステップＳ２０２）、閾値Ｔを「１．０」に初期設定する（ステップＳ２０３）。その後、部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行って相関値を抽出し（ステップＳ２０４）、該相関値が閾値Ｔ以上であるか否かを判定する（ステップＳ２０５）。ただし、マスク領域Ｍについては相関値の対象外とする。
【００６６】
そして、画像Ａ上に相関値が閾値Ｔ以上となる領域が存在しない場合には（ステップＳ２０５；ＮＯ）、閾値Ｔから「０．０１」を減算し（ステップＳ２０６）、閾値Ｔが０．８以上であるならば（ステップＳ２０７；ＮＯ）、ステップＳ２０４に移行して同様の処理を繰り返す。一方、閾値Ｔが０．８未満であるならば（ステップＳ２０７；ＹＥＳ）、部分画像Ｂ’に対応する領域が存在しないものとして処理を終了する。
【００６７】
これに対して、上記のステップＳ２０５において、相関値が閾値Ｔ以上となる領域が存在したならば（ステップＳ２０５；ＹＥＳ）、画像Ａから該領域の部分画像Ａ’を抽出し（ステップＳ２０８）、抽出した部分画像Ａ’と部分画像Ｂ’の差分画像Ｃを生成する（ステップＳ２０９）。この差分画像Ｃにはマスク領域Ｍが含まれる。
【００６８】
そして、差分画像Ｃが存在するならば（ステップＳ２１０；ＹＥＳ）、差分画像Ｃと部分画像Ｂ’とを重ねた重畳画像Ｄを生成して（ステップＳ２１１）、上記一連の処理を終了する。なお、ここでは説明の便宜上その説明を省略したが、部分画像Ｂ’、部分画像Ａ’、差分画像Ｃ及び重畳画像Ｄは記憶部１４に格納される。
【００６９】
上述してきたように、本実施の形態２では、画像Ｂに対して指定領域を設定し、設定された指定領域内の広告内容等のノイズをマスク処理し、画像Ｂから抽出した部分画像Ｂ’をテンプレートとして画像Ａ内で移動させつつ相関値を求め、該相関値が閾値Ｔ以上となる画像Ａ内の領域を特定する処理を、閾値Ｔを変化させつつ繰り返し、部分画像Ｂ’と部分画像Ａ’との差分画像Ｃを生成した後、該差分画像Ｃと部分画像Ｂ’を重畳した重畳画像Ｄを生成して表示部１２等に出力するよう構成したので、時間の経過に応じて変化する変化要因を有する複数の画像を比較する場合に、適正な画像の差分を取得することができる。特に、指定領域内に比較対象とされない変化部分が含まれている場合であっても、適正に画像を比較することができる。
【００７０】
＜変形例＞
ところで、上記の実施の形態２では、マスク領域Ｍを除外してテンプレートマッチングを行う場合を示したが、マスク領域Ｍを含めてテンプレートマッチングを行い、差分画像のマスク領域Ｍの画素値を所定の画素値に置換するよう構成することもできる。このため、本実施の形態２の変形例では、かかる処理を行う場合について説明する。なお、画像処理装置の構成は実施の形態２の画像処理装置２０と同様になるため、差分を中心に説明することとして、ここでは画像処理装置のその詳細な説明を省略する。
【００７１】
具体的には、この変形例では、マスク領域Ｍの指定を受け付けた後に、マッチングから差分画像Ｃを生成する処理までは実施の形態１と同様に行い、その後にマスク領域Ｍの画素値を所定の画素値（例えば、２５６階調の「２５５（白）」）に置換する。そして、重畳画像Ｄを生成する際に、対象外であることが分かるようにマスク領域Ｍの外縁部を矩形で強調表示することとしている。
【００７２】
まず、本変形例に係る画像処理装置の概念について説明する。図１２は、本変形例に係る画像処理装置の概念を説明するための説明図である。なお、実施の形態２と同様の部分については、その詳細な説明を省略する。
【００７３】
図１２に示すように、この画像処理装置２０は、まず画像Ｂに対する指定領域を設定した後（Ｓ３１）、この指定領域の一部をなすマスク領域Ｍの指定を受け付けマスク領域Ｍを設定する（Ｓ３２）。指定領域内に含まれている比較対象とすべきではない広告内容などの事項を除外するためである。
【００７４】
その後、指定領域の部分画像Ｂ’を抽出する（Ｓ３３）。なお、実施の形態２のようなマスク領域Ｍの画素値の置換は行わない。部分画像Ｂ’が抽出されたならば、この部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行い（Ｓ３４）、相関値が所定の閾値以上であるものが存在したならば、該相関値を有する画像Ａの領域を部分画像Ｂ’に対応する領域として特定する（Ｓ３５）。ただし、マスク領域Ｍを形成する各画素については、相関値の対象外とする。
【００７５】
そして、画像Ａのある領域における相関値が閾値を上回る場合には、この領域に対応する部分画像Ａ’を抽出する（Ｓ３６）。なお、閾値が「０．８０」以上となるものが存在するまで繰り返し、相関値が閾値０．８０を超えない場合には「該当なし」と出力する。
【００７６】
その後、部分画像Ｂ’と部分画像Ａ’の差分画像Ｃを生成する（Ｓ３７）。そして、この差分画像Ｃのマスク領域Ｍを形成する画素の画素値を所定の画素値に置換する（Ｓ３８）。例えば、２５６階調の白画素（２５５）となるように、ＲＧＢプレーンのそれぞれの画素値を置き換える。その後、差分画像Ｃと部分画像Ｂ’を重畳した重畳画像Ｄを生成する（Ｓ３９）。そして、重畳画像Ｄに対してマスク領域Ｍの枠部分を重畳する（Ｓ４０）。マスク領域Ｍが存在することを明示するためである。
【００７７】
このように、画像Ｂにおいて指定領域を設定した際に、この指定領域に比較対象外の広告内容等が含まれている場合には、かかる広告内容等にマスク領域Ｍを設定することにより、画像の相関値を算出する際の広告内容等の影響を除外することができるため、適正に差分を抽出することができる。
【００７８】
次に、変形例に係る画像処理装置の処理手順について説明する。図１３は、変形例に係る画像処理装置の処理手順を示すフローチャートである。同図に示すように、画像Ｂから指定領域の部分画像Ｂ’を抽出した後（ステップＳ３０１）、マスク領域Ｍの指定を受け付け（ステップＳ３０２）、閾値Ｔを「１．０」に初期設定する（ステップＳ３０３）。その後、部分画像Ｂ’をテンプレートとして画像Ａとテンプレートマッチングを行って相関値を抽出し（ステップＳ３０４）、該相関値が閾値Ｔ以上であるか否かを判定する（ステップＳ３０５）。
【００７９】
そして、画像Ａ上に相関値が閾値Ｔ以上となる領域が存在しない場合には（ステップＳ３０５；ＮＯ）、閾値Ｔから「０．０１」を減算し（ステップＳ３０６）、閾値Ｔが０．８以上であるならば（ステップＳ３０７；ＮＯ）、ステップＳ３０４に移行して同様の処理を繰り返す。一方、閾値Ｔが０．８未満であるならば（ステップＳ３０７；ＹＥＳ）、部分画像Ｂ’に対応する領域が存在しないものとして処理を終了する。
【００８０】
これに対して、上記のステップＳ３０５において、相関値が閾値Ｔ以上となる領域が存在したならば（ステップＳ３０５；ＹＥＳ）、画像Ａから該領域の部分画像Ａ’を抽出し（ステップＳ３０８）、抽出した部分画像Ａ’と部分画像Ｂ’の差分画像Ｃを生成する（ステップＳ３０９）。その後、差分画像Ｃに含まれるマスク領域Ｍを形成する画素の画素値を所定の画素値（例えば、２５６階調の「２５５」）に置換する（ステップＳ３１０）。
【００８１】
そして、差分画像Ｃが存在するならば（ステップＳ３１１；ＹＥＳ）、差分画像Ｃと部分画像Ｂ’とを重ねた重畳画像Ｄを生成し（ステップＳ３１２）、生成した重畳画像Ｄにマスク領域Ｍの枠部分を重ねる（ステップＳ３１３）。具体的には、重畳画像Ｄのマスク領域Ｍの枠部分を形成する画素の画素値を所定の画素値に置き換える。なお、ここでは説明の便宜上その説明を省略したが、部分画像Ｂ’、部分画像Ａ’、差分画像Ｃ及び重畳画像Ｄは記憶部１４に格納される。
【００８２】
上述してきたように、本変形例では、マスク領域Ｍの指定を受け付けた後に、マッチングから差分画像Ｃを生成する処理までは実施の形態１と同様に行い、その後にマスク領域Ｍの画素値を所定の画素値（例えば、２５６階調の「２５５（白）」）に置換する。そして、重畳画像Ｄを生成する際に、対象外であることが分かるようにマスク領域Ｍの外縁部を矩形で強調表示することとしている。
【００８３】
＜ハードウエアとの関係＞
次に、実施の形態１に係る画像処理装置１０又は実施の形態２に係る画像処理装置２０と、コンピュータの主たるハードウエア構成の対応関係について説明する。図１４は、ハードウエア構成の一例を示す図である。
【００８４】
一般的なコンピュータは、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３及び不揮発性メモリ３４などがバスにより接続された構成となる。不揮発性メモリ３４の代わりにハードディスク装置が設けられていても良い。説明の便宜上、基本的なハードウエア構成のみを示している。
【００８５】
ここで、ＲＯＭ３２又は不揮発性メモリ３４には、オペレーティングシステム（以下、単に「ＯＳ」と言う）の起動に必要となるプログラム等が記憶されており、ＣＰＵ３１は、電源投入時にＲＯＭ３２又は不揮発性メモリ３４からＯＳのプログラムをリードして実行する。
【００８６】
一方、ＯＳ上で実行される各種のアプリケーションプログラムは、不揮発性メモリ３４に記憶されており、ＣＰＵ３１がＲＡＭ３３を主メモリとして利用しつつアプリケーションプログラムを実行することにより、アプリケーションに対応するプロセスが実行される。
【００８７】
そして、実施の形態１に係る画像処理装置１０又は実施の形態２に係る画像処理装置２０の画像処理プログラムについても、他のアプリケーションプログラムと同様に不揮発性メモリ３４等に記憶され、ＣＰＵ３１が、かかる画像処理プログラムをロードして実行することになる。実施の形態１に係る画像処理装置１０の場合には、図４に示した設定部１５ａ、領域特定部１５ｂ、差分抽出部１５ｃ、重畳画像生成部１５ｄ、出力部１５ｅに対応するルーチンを含む画像処理プログラムが不揮発性メモリ３４等に記憶される。ＣＰＵ３１により画像処理プログラムがロード実行されることにより、設定部１５ａ、領域特定部１５ｂ、差分抽出部１５ｃ、重畳画像生成部１５ｄ、出力部１５ｅに対応するプロセスが生成される。同様に、実施の形態２に係る画像処理装置２０の場合には、図９に示した設定部２１ａ、領域特定部２１ｂ、差分抽出部２１ｃ、重畳画像生成部２１ｄ、出力部２１ｅに対応するルーチンを含む画像処理プログラムが不揮発性メモリ３４等に記憶される。ＣＰＵ３１により画像処理プログラムがロード実行されることにより、設定部２１ａ、領域特定部２１ｂ、差分抽出部２１ｃ、重畳画像生成部２１ｄ、出力部２１ｅに対応するプロセスが生成される。なお、閾値に関するデータについては、あらかじめ不揮発性メモリ３４に格納しても良いし、ユーザに入力させても良い。
【００８８】
なお、上記の実施の形態１及び２では、スタンドアロンとしての端末装置上で動作実行する場合を示したが、本発明はこれに限定されるものではなく、端末装置とサーバ装置とで連動して処理する場合に適用することもできる。例えば、ＷＥＢアプリケーションはサーバ装置にデプロイさせておき、端末装置のブラウザでアプリを表示するとともに、テストエビデンスとなる画像を端末装置のハードディスク装置や不揮発性メモリなどの記憶部に保存するよう構成することもできる。また、例えば、端末装置からサーバ装置に画像を送信し、サーバ装置上で本発明に係る処理を実行して、その結果を端末装置に送信して端末装置の表示部に表示するよう構成することもできる。
【００８９】
なお、上記の実施の形態１及び２では、コンピュータに導入されたテストツールによって画面がキャプチャーされた２つの画像を比較する場合を示したが、本発明はこれに限定されるものではなく、ユーザにより特定された任意の２つの画像を比較する場合に適用することができる。また、上記の実施の形態１及び２では、表示部に画面表示されたウエブページをキャプチャーした画像を対象とする場合を示したが、本発明はこれに限定されるものではなく、ダンプリスト等の画像であっても良い。
【００９０】
また、上記の実施の形態１及び２では、テンプレートマッチングを行う際に正規化相互相関係数を用いる場合を示したが、本発明はこれに限定されるものではなく、他の相関値を用いることもできる。ただし、相関値は所定の範囲に正規化されることが望ましい。この所定の範囲に応じて閾値を変動させるためである。なお、ここでは閾値を順次減少させる場合を示したが、本発明はこれに限定されるものではなく、閾値を順次増加させることもできる。
【００９１】
なお、上記の実施の形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【産業上の利用可能性】
【００９２】
本発明の画像処理装置、画像処理方法及び画像処理プログラムは、時間の経過に応じて変化する変化要因を含む複数の画像を比較して適正な画像の差分を取得する場合に有用である。
【符号の説明】
【００９３】
Ａ，Ｂ          画像
Ａ’，Ｂ’      部分画像
Ｃ              差分画像
Ｄ              重畳画像
Ｍ              マスク領域
１０，２０      画像処理装置
１１            入力部
１２            表示部
１３            通信Ｉ／Ｆ部
１４            記憶部
１５，２１      制御部
１５ａ，２１ａ  設定部
１５ｂ，２１ｂ  領域特定部
１５ｃ，２１ｃ  差分抽出部
１５ｄ，２１ｄ  重畳画像生成部
１５ｅ，２１ｅ  出力部
【図１】
2019185344.tif 000003
【図２】
2019185344.tif 000004
【図３】
2019185344.tif 000005
【図４】
2019185344.tif 000006
【図５】
2019185344.tif 000007
【図６】
2019185344.tif 000008
【図７】
2019185344.tif 000009
【図８】
2019185344.tif 000010
【図９】
2019185344.tif 000011
【図１０】
2019185344.tif 000012
【図１１】
2019185344.tif 000013
【図１２】
2019185344.tif 000014
【図１３】
2019185344.tif 000015
【図１４】
2019185344.tif 000016
【手続補正書】
【提出日】令和1年7月5日(2019.7.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置であって、
前記第１の画像に対して第１の領域を設定する設定手段と、
前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段と、
前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手段と
を備え、
前記領域特定手段は、前記マスク処理手段によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、
前記差分画像生成手段は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する
画像処理装置。
【請求項２】
前記差分画像生成手段により生成された差分画像と前記第１の画像内の前記第１の領域の部分画像とを重畳した重畳画像を生成する重畳画像生成手段をさらに備える請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像は、第１の時点で取得された画像であり、前記第２の画像は、前記第１の時点と異なる第２の時点で取得された前記第１の画像の比較対象となる画像である請求項１又は２に記載の画像処理装置。
【請求項４】
前記相関値は、前記第１の画像内の前記第１の領域の部分画像と、前記第１の領域がテンプレートとして適用された前記第２の画像内の部分画像との相互相関係数を０〜１の範囲に正規化された正規化相互相関係数である請求項１乃至３のいずれか一つに記載の画像処理装置。
【請求項５】
前記領域特定手段は、前記閾値を所定の値だけ下げつつ前記相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を繰り返し、前記閾値が所定の下限閾値に達した場合に処理を終了する請求項４に記載の画像処理装置。
【請求項６】
第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理システムであって、
前記第１の画像に対して第１の領域を設定する設定手段と、
前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段と、
前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手段と
を備え、
前記領域特定手段は、前記マスク処理手段によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、
前記差分画像生成手段は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する
画像処理システム。
【請求項７】
第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置における画像処理方法であって、
前記第１の画像に対して第１の領域を設定する設定工程と、
前記設定工程により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定工程と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成工程と、
前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理工程と
を含み、
前記領域特定工程は、前記マスク処理工程によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、
前記差分画像生成工程は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する
画像処理方法。
【請求項８】
第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置において実行する画像処理プログラムであって、
前記第１の画像に対して第１の領域を設定する設定手順と、
前記設定手順により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手順と、
前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手順と、
前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手順と
を含み、
前記領域特定手順は、前記マスク処理手順によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、
前記差分画像生成手順は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する
処理をコンピュータに実行させる画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記の課題を解決するため、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置であって、前記第１の画像に対して第１の領域を設定する設定手段と、前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段と、前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手段とを備え、前記領域特定手段は、前記マスク処理手段によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、前記差分画像生成手段は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理システムであって、前記第１の画像に対して第１の領域を設定する設定手段と、前記設定手段により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手段と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手段と、前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手段とを備え、前記領域特定手段は、前記マスク処理手段によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、前記差分画像生成手段は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置における画像処理方法であって、前記第１の画像に対して第１の領域を設定する設定工程と、前記設定工程により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定工程と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成工程と、前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理工程とを含み、前記領域特定工程は、前記マスク処理工程によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、前記差分画像生成工程は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明は、第１の画像と、該第１の画像の比較の対象となる第２の画像との差分画像を生成する画像処理装置において実行する画像処理プログラムであって、前記第１の画像に対して第１の領域を設定する設定手順と、前記設定手順により設定された第１の領域の部分画像をテンプレートとして前記第２の画像内で移動させつつ相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返す領域特定手順と、前記第１の画像内の前記第１の領域の部分画像と前記第２の画像内の前記第２の領域の部分画像との差分画像を生成する差分画像生成手順と、前記第１の領域のうち時間の経過に応じて変化する変化要因となるマスク領域の部分画像を形成する画素の画素値を所定の画素値に置換するマスク処理を行うマスク処理手順とを含み、前記領域特定手順は、前記マスク処理手順によりマスク処理されたマスク領域を含む前記第１の領域をテンプレートとして前記第２の画像内で移動させつつマスク領域を除外した相関値を求め、該相関値が所定の閾値以上となる前記第２の画像内の第２の領域を特定する処理を、前記閾値を変化させつつ繰り返し、前記差分画像生成手順は、前記第１の領域の前記マスク領域を除く部分画像と前記第２の領域の前記マスク領域に対応する領域を除く部分画像との差分画像を生成する処理をコンピュータに実行させる。