(57)【特許請求の範囲】
【請求項１】
ディジタル信号化された画像信号を、ディジタル処理する画像処理方法であって、
前記ディジタル信号化された画像信号を、画像に記録された物体の表面反射率と照度の和で表される信号へ変換する画素値変換処理と、
平滑化の度合いをパラメータで指定することにより、与えられた画像信号の高域周波数成分の除去度合いを定量的に制御する平滑化処理と、
与えられた画像信号の低域周波数成分を軽減する微分処理と、
前記平滑化処理における前記パラメータを決定するパラメータ決定処理と、
を含み、
前記画素値変換処理において変換された画像信号に対して、前記平滑化処理を行った後に前記微分処理を行うか、前記微分処理を行った後に前記平滑化処理を行うか、前記平滑化処理と前記微分処理を一括して行うか、のいずれかにより周波数帯域を制限する処理を行い、
前記パラメータ決定処理は、前記周波数帯域を制限する処理後の画像信号のノルムが極大となるパラメータを最適値として決定する
ことを特徴とする画像処理方法。
【請求項２】
前記画素値変換処理は、
対数変換を用いて、前記ディジタル信号化された画像信号を、画像に記録された物体の表面反射率と照度の和で表される信号へ変換する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
γ＜１なるガンマ補正値γを用いて画素値が輝度のγ乗と設定されディジタル信号化された画像信号を、ディジタル処理する画像処理方法であって、
平滑化の度合いをパラメータで指定することにより、与えられた画像信号の高域周波数成分の除去度合いを定量的に制御する平滑化処理と、
与えられた画像信号の低域周波数成分を軽減する微分処理と、
前記平滑化処理における前記パラメータを決定するパラメータ決定処理と、
を含み、
前記ディジタル信号化された画像信号に対して、前記平滑化処理を行った後に前記微分処理を行うか、前記微分処理を行った後に前記平滑化処理を行うか、前記平滑化処理と前記微分処理を一括して行うか、のいずれかにより周波数帯域を制限する処理を行い、
前記パラメータ決定処理は、前記周波数帯域を制限する処理後の画像信号のノルムが極大となるパラメータを最適値として決定する
ことを特徴とする画像処理方法。
【請求項４】
前記微分処理は、
独立した２方向の１次偏微分処理である
ことを特徴とする請求項１から請求項３のいずれかに記載の画像処理方法。
【請求項５】
前記平滑化処理は、
ガウス関数の畳み込み処理を用いて平滑化を行う
ことを特徴とする請求項１から請求項４のいずれかに記載の画像処理方法。
【請求項６】
ディジタル信号化された２枚の画像の画像信号を比較した比較結果に基づき、画像の類似度を計算する画像比較方法であって、
前記２枚の画像の画像信号に対して実行される、それぞれ請求項１から請求項５のいずれかに記載の画像処理方法による画像処理と、
前記画像処理後の２枚の画像の画像信号を比較して、比較結果を得る画像比較処理と、
を含むことを特徴とする画像比較方法。
【請求項７】
前記画像比較処理は、
前記ディジタル化された２枚の画像の比較結果を、前記２枚の画像の、画素値の相関値の大小として得る
ことを特徴とする請求項６に記載の画像比較方法。
【請求項８】
前記画像比較処理は、
前記ディジタル化された２枚の画像の比較結果を、前記２枚の画像の、画素値の差分の和の大小として得る
ことを特徴とする請求項６に記載の画像比較方法。
【請求項９】
前記画像比較処理は、
前記ディジタル化された２枚の画像の比較結果を、前記２枚の画像の、画素値の差の絶対値の２乗値の大小として得る
ことを特徴とする請求項６に記載の画像比較方法。
【請求項１０】
予め定められた辞書画像に類似する領域を、前記辞書画像より大きな画像中からその位置をずらしながら探し出す画像マッチング方法であって、
各位置ごとに得られる画像と前記辞書画像の比較処理は、
請求項６から請求項９のいずれかに記載の画像比較方法を用いる
ことを特徴とする画像マッチング方法。
【請求項１１】
請求項１から請求項１０のいずれかに記載の方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
ディジタル信号化された画像信号を、ディジタル処理する画像処理装置であって、
前記ディジタル信号化された画像信号を、画像に記録された物体の表面反射率と照度の和で表される信号へ変換する画素値変換手段と、
平滑化の度合いをパラメータで指定することにより、与えられた画像信号の高域周波数成分の除去度合いを定量的に制御する平滑化手段と、
与えられた画像信号の低域周波数成分を軽減する微分手段と、
前記平滑化手段で用いられる前記パラメータを決定するパラメータ決定手段と、
を備え、
前記画素値変換手段において変換された画像信号に対して、前記平滑化手段による処理を行った後に前記微分手段による処理を行うか、前記微分手段による処理を行った後に前記平滑化手段による処理を行うか、前記平滑化手段による処理と前記微分手段による処理を一括して行うか、のいずれかにより周波数帯域を制限する処理を行い、
前記パラメータ決定手段は、前記周波数帯域を制限する処理後の画像信号のノルムが極大となるパラメータを最適値として決定する
ことを特徴とする画像処理装置。
【請求項１３】
γ＜１なるガンマ補正値γを用いて画素値が輝度のγ乗と設定されディジタル信号化された画像信号を、ディジタル処理する画像処理装置であって、
平滑化の度合いをパラメータで指定することにより、与えられた画像信号の高域周波数成分の除去度合いを定量的に制御する平滑化手段と、
与えられた画像信号の低域周波数成分を軽減する微分手段と、
前記平滑化手段で用いられる前記パラメータを決定するパラメータ決定手段と、
を備え、
前記ディジタル信号化された画像信号に対して、前記平滑化手段による処理を行った後に前記微分手段による処理を行うか、前記微分手段による処理を行った後に前記平滑化手段による処理を行うか、前記平滑化手段による処理と前記微分手段による処理を一括して行うか、のいずれかにより周波数帯域を制限する処理を行い、
前記パラメータ決定手段は、前記周波数帯域を制限する処理後の画像信号のノルムが極大となるパラメータを最適値として決定する
ことを特徴とする画像処理装置。
【請求項１４】
ディジタル信号化された２枚の画像の画像信号を比較した比較結果に基づき、画像の類似度を計算する画像比較装置であって、
前記２枚の画像の画像信号に対して、それぞれ請求項１から請求項５のいずれかに記載の画像処理方法による画像処理を実行する画像処理手段と、
前記画像処理後の２枚の画像の画像信号を比較して、比較結果を得る画像比較手段と、
を備えることを特徴とする画像比較装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像の前処理、または画像比較を行うための前処理、または画像ずらしマッチングを行うための前処理およびその設計方法に関する。特に、照明変動耐久性、ノイズ耐久性をコントロールし、画像から必要情報を取り出す方法に関する。
【０００２】
【従来の技術】
従来から画像の比較やマッチングの技術は数多く提案されている。
その技術の最大の課題は、外乱に対する耐久性を得ることであり、これに対して数多くの方法が提案されている。
【０００３】
【発明が解決しようとする課題】
しかし、これまでは各種パラメータの設定方法は実験的に定める方法のみが知られており、定量的にパラメータを定めた上での処理方法や比較方法は知られていなかった。このため、画像処理の設計には多くのノウハウが必要とされるという問題があった。
特に、平滑化部分は、ほとんどの場合最小限のノイズ除去のために行われており、従来、これらは処理の中のノウハウとして埋めこまれて来たため、具体的な処理手法と最適なパラメータの求め方が明らかでないという問題があった。
【０００４】
本発明は、上記問題点に鑑みてなされたもので、外乱に対する耐久性を持つ画像処理、効率的な画像比較、及び画像ずらしマッチングを得ることが可能な、画像処理方法と画像処理装置を提供することを目的とする。より具体的には、与えられた画像の中から物体固有の特徴を効率的に取り出し、結果的に照明変動、ノイズなどの一般的な外乱に対する耐久性を持つ前処理（画像処理）方法を定量的な方法で得ると同時に、各種外乱に対する耐久性を持つバンドパスフィルタの設計方法を定量化する画像処理方法、画像処理装置、及び画像処理方法を実行するプログラムを記録した記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記問題点を解決するために、本発明は、ディジタル信号化された画像信号を、ディジタル処理する画像処理方法であって、前記ディジタル信号化された画像信号を、画像に記録された物体の表面反射率と照度の和で表される信号へ変換する画素値変換処理と、平滑化の度合いをパラメータで指定することにより、与えられた画像信号の高域周波数成分の除去度合いを定量的に制御する平滑化処理と、与えられた画像信号の低域周波数成分を軽減する微分処理と、前記平滑化処理における前記パラメータを決定するパラメータ決定処理とを含み、前記画素値変換処理において変換された画像信号に対して、前記平滑化処理を行った後に前記微分処理を行うか、前記微分処理を行った後に前記平滑化処理を行うか、前記平滑化処理と前記微分処理を一括して行うか、のいずれかにより周波数帯域を制限する処理を行い、前記パラメータ決定処理は、前記周波数帯域を制限する処理後の画像信号のノルムが極大となるパラメータを最適値として決定することを特徴とする。
以上の構成により、これまでのようなノウハウや実験により各種パラメータを設定するのはなく、定量的な画像処理、画像比較および画像ずらしマッチングを実現することを可能とする。また、画像の比較用パラメータを定量的に決定することで、各種外乱（照明変動、ノイズなどの影響）を除去し、物体そのものが持つ特徴を抽出することを可能とする。更に、物体そのものが持つ特徴を抽出することにより、正確な（物体そのものの特徴を利用した）画像比較を実現することを可能とする。同時に、画像の比較用パラメータを計算した結果、高周波成分が不要であるとの結論が出た場合、画像を縮小し、高速な画像比較を実現することを可能とする。
【０００６】
本発明は、上記画像処理方法において、前記画素値変換処理は、対数変換を用いて、前記ディジタル信号化された画像信号を、画像に記録された物体の表面反射率と照度の和で表される信号へ変換することを特徴とする。
【０００７】
本発明は、γ＜１なるガンマ補正値γを用いて画素値が輝度のγ乗と設定されディジタル信号化された画像信号を、ディジタル処理する画像処理方法であって、平滑化の度合いをパラメータで指定することにより、与えられた画像信号の高域周波数成分の除去度合いを定量的に制御する平滑化処理と、与えられた画像信号の低域周波数成分を軽減する微分処理と、前記平滑化処理における前記パラメータを決定するパラメータ決定処理とを含み、前記ディジタル信号化された画像信号に対して、前記平滑化処理を行った後に前記微分処理を行うか、前記微分処理を行った後に前記平滑化処理を行うか、前記平滑化処理と前記微分処理を一括して行うか、のいずれかにより周波数帯域を制限する処理を行い、前記パラメータ決定処理は、前記周波数帯域を制限する処理後の画像信号のノルムが極大となるパラメータを最適値として決定することを特徴とする。
【０００８】
本発明は、上記画像処理方法において、微分処理は、独立した２方向の１次偏微分処理であることを特徴とする。
【０００９】
本発明は、上記画像処理方法において、平滑化処理は、ガウス関数の畳み込み処理を用いて平滑化を行うことを特徴とする。
【００１０】
本発明は、ディジタル信号化された２枚の画像の画像信号を比較した比較結果に基づき、画像の類似度を計算する画像比較方法であって、前記２枚の画像の画像信号に対して実行される、上記画像処理方法による画像処理と、前記画像処理後の２枚の画像の画像信号を比較して、比較結果を得る画像比較処理とを含むことを特徴とする。
以上の構成により、外乱による画像の位置ずれ耐久性を予め予測できるため、どれだけ細かい位置ずれを考慮した画像比較を行う必要があるのかを予め決定でき、従って画像を利用した物体抽出を定量的に設計することを可能とする。
また、画像比較に用いる辞書の作成時にγ係数を考慮する必要がないため、異なるＡ／Ｄ変換系を経た画像を用いて、別のＡ／Ｄ変換系を利用した画像の画像比較も正確に実現することを可能とする。
【００１１】
本発明は、上記画像比較方法において、画像比較処理は、ディジタル化された２枚の画像の比較結果を、２枚の画像の、画素値の相関値の大小として得ることを特徴とする。
【００１２】
本発明は、上記画像比較方法において、画像比較処理は、ディジタル化された２枚の画像の比較結果を、２枚の画像の、画素値の差分の和の大小として得ることを特徴とする。
【００１３】
本発明は、上記画像比較方法において、画像比較処理は、ディジタル化された２枚の画像の比較結果を、２枚の画像の、画素値の差の絶対値の２乗値の大小として得ることを特徴とする。
【００１４】
本発明は、予め定められた辞書画像に類似する領域を、辞書画像より大きな画像中からその位置をずらしながら探し出す画像マッチング方法であって、各位置ごとに得られる画像と辞書画像の比較処理は、上記画像比較方法を用いることを特徴とする。
【００１５】
本発明は、上記記載のいずれかの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体とする。
【００１６】
本発明は、ディジタル信号化された画像信号を、ディジタル処理する画像処理装置であって、前記ディジタル信号化された画像信号を、画像に記録された物体の表面反射率と照度の和で表される信号へ変換する画素値変換手段と、平滑化の度合いをパラメータで指定することにより、与えられた画像信号の高域周波数成分の除去度合いを定量的に制御する平滑化手段と、与えられた画像信号の低域周波数成分を軽減する微分手段と、前記平滑化手段で用いられる前記パラメータを決定するパラメータ決定手段とを備え、前記画素値変換手段において変換された画像信号に対して、前記平滑化手段による処理を行った後に前記微分手段による処理を行うか、前記微分手段による処理を行った後に前記平滑化手段による処理を行うか、前記平滑化手段による処理と前記微分手段による処理を一括して行うか、のいずれかにより周波数帯域を制限する処理を行い、前記パラメータ決定手段は、前記周波数帯域を制限する処理後の画像信号のノルムが極大となるパラメータを最適値として決定することを特徴とする。
本発明は、γ＜１なるガンマ補正値γを用いて画素値が輝度のγ乗と設定されディジタル信号化された画像信号を、ディジタル処理する画像処理装置であって、平滑化の度合いをパラメータで指定することにより、与えられた画像信号の高域周波数成分の除去度合いを定量的に制御する平滑化手段と、与えられた画像信号の低域周波数成分を軽減する微分手段と、前記平滑化手段で用いられる前記パラメータを決定するパラメータ決定手段とを備え、前記ディジタル信号化された画像信号に対して、前記平滑化手段による処理を行った後に前記微分手段による処理を行うか、前記微分手段による処理を行った後に前記平滑化手段による処理を行うか、前記平滑化手段による処理と前記微分手段による処理を一括して行うか、のいずれかにより周波数帯域を制限する処理を行い、前記パラメータ決定手段は、前記周波数帯域を制限する処理後の画像信号のノルムが極大となるパラメータを最適値として決定することを特徴とする。
本発明は、ディジタル信号化された２枚の画像の画像信号を比較した比較結果に基づき、画像の類似度を計算する画像比較装置であって、前記２枚の画像の画像信号に対して、上記画像処理方法による画像処理を実行する画像処理手段と、前記画像処理後の２枚の画像の画像信号を比較して、比較結果を得る画像比較手段とを備えることを特徴とする。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施の形態）
まず、図１を用いて、照明変動耐久性、ノイズ耐久性をコントロールし、画像から必要情報を取り出す画像処理方法を、第１の実施の形態として説明する。
図１は、第１の実施の形態による画像処理装置の構成を説明するブロック図である。
図１において、符号１１は、与えられる画像のシーン情報であって、カメラ等で撮影される時に得られるシーン情報は、シーンヘの照度と物体表面反射率の積の関数である。
符号１２は、ディジタル画像を生成するディジタル画像生成処理部であって、ＣＣＤなど光から電気信号への変換過程、電気信号のＡ／Ｄ変換過程などを含む。  符号１３は、ディジタル画像生成処理部１２でディジタル化されて得られた入力画像である。
符号１４は、ディジタル信号化された画像を、画像に記録された物体の表面反射率と照度の和で表される信号へ変換する画素値変換処理部であって、ここでは、対数変換処理によりディジタル信号化された画像に記録された物体の表面反射率と照度の積で表される信号を、物体の表面反射率と照度の和で表される信号へ変換する。これは、画像が一般的な方法でディジタル化されている場合には、画像の画素値はすでに物体の表面反射率と照度の積の関数になっていることを意味する。
【００１８】
符号１５は、平滑化処理部であって、画素値変換処理部１４で変換された結果を平滑化する。本実施の形態では、説明の簡易化のため、平滑化処理にガウス関数の畳み込み処理を用いる場合を説明するが、これに限らず、高周波をカットするローパスフィルタを施す操作であればどんな関数を用いても良い。但し、後述する画素値変換処理部１４を省略する場合にあっては、平滑化の度合いをパラメータ化できることが条件となる。また、高周波カットの場合、指定した周波数以上を完全にカットするとすれば、この指定する周波数もパラメータとなり得る。符号１６は、微分処理部であって、本実施の形態では直行する２方向の偏微分処理を行う場合を説明するが、行う操作はこれに限らず単なる２方向の偏微分処理、単なる微分処理、または、より高次の微分処理であっても良い。
符号１７は、パラメータ決定処理部であって、平滑化処理部１５で利用するパラメータを決定する処理である。パラメータは、予め決定しておいても良く、また、与えられるディジタル画像の画素値変換処理後の画像信号のノルムを計算し、該ノルムが極大になるパラメータを、平滑化処理部１５の処理精度を決定するパラメータの最適値として定めても良い。
符号１８は、以上の処理を行った画像処理結果である。
【００１９】
なお、画素値変換処理部１４と平滑化処理部１５の順序は、この処理を逆にしても効果は同じである。
また、上記説明では、平滑化処理部１５と微分処理部１６を分かれた一連の構成要素として説明したが、実際、画像処理ではこれらの２つの処理の順序を変えることも、１回の処理として終らせることも可能である。これは、平滑化および微分処理のどちらも数学的には畳み込み処理であり、畳み込み処理は可逆処理が可能であり、よって順序を変えることができること、さらに、２回の畳み込み処理を１回の畳み込みとして処理することも可能であることによる。
【００２０】
また、上述のディジタル画像生成処理部１２と、画素値変換処理部１４と、平滑化処理部１５と、微分処理部１６と、パラメータ決定処理部１７は、それぞれ専用のハードウェアにより実現されるものであってもよく、また、メモリおよびＣＰＵ（中央演算装置）により構成され、上記の各部の機能を実現するためのプログラムをメモリにロードして実行することにより、その機能を実現させるものであってもよい。
【００２１】
次に、平滑化処理にガウス関数の畳み込み処理を用いる場合を例に、本実施の形態の動作を説明し、平滑化パラメータの値を決定する方法を記述する。
まず、本実施の形態の画像処理装置に、与えられる画像のシーンヘの照度と物体表面反射率の積の関数を持つシーン情報１１が入力されると、ディジタル画像生成処理部１２においてディジタル信号化され、入力画像１３が画素値変換処理部１４へ入力される。
画素値変換処理部１４では、対数変換処理により、ディジタル信号化された画像を、画像に記録された物体の表面反射率と照度の和で表される信号へ変換する。
画素値変換処理部１４の出力は、平滑化処理部１５において平滑化される。平滑化処理部１５では、画像処理でガウス関数を利用する場合、画像は２次元であるため、以下で示される２次元ガウス関数
【数１】
0003594889.tif 000002
を用いる。この場合、平滑化処理部１５と微分処理部１６の処理を１つのフィルタで処理するフィルタの形状は、ガウス関数を微分した形で書き表すことができる。例えば、ｘ方向の偏微分は、
【数２】
0003594889.tif 000003
であり、これが画像処理におけるフィルタ形状となる。ここでは、２方向の偏微分処理をグラジエントとして、以降の画像処理方法を述べる。
以下、ガウス関数のグラジエントは、
【数３】
0003594889.tif 000004
であらわす。ここでフィルタは
【数４】
0003594889.tif 000005
をそのまま使うのではなく、これを
【数５】
0003594889.tif 000006
倍した
【数６】
0003594889.tif 000007
を用いる。これは、単独のステップエッジについて、その出力値を一定にするためである。（定数倍を行わないと、平滑化が進む、すなわちσが大きくなるにつれ、エッジはつぶれていってしまう。）
この場合、ガウス関数による平滑化処理部１５と、２方向の一次偏微分処理による微分処理部１６の処理を組み合わせた画像処理方法は以下の式で示され、平滑化処理と微分処理とを同時に実行する。また、画像処理結果１８は、次式の計算結果として得られる。
【数７】
0003594889.tif 000008
ここで、
【数８】
0003594889.tif 000009
はディジタル画像であり、すでにｇ＝ＣＲＩというように反射率Ｒ、照度Ｉ、定数Ｃで表現されているとする。また「＊」は、畳み込み処理を意味する記号である。積分領域は対象とする画像の領域である。
ただし、以上の数式による説明は、画像を連続関数で置き換えて考えたものである。実際のディジタル画像の処理においては、画像はサンプリングされているため、信号は離散値であり、積分は総和Σの形で示される。
【００２２】
次に、パラメータ決定処理部１７におけるパラメータの値の具体的計算手順を示す。ここでは、処理のはじめの手順を対数変換（画素値変換）とする。この場合、与えられた画像（解析対象）をｇとすると、各σについてその結果のノルムを計算する。この例では、例えば
【数９】
0003594889.tif 000010
を計算する。この結果は、ホワイトノイズや一様に一方方向に明るさが増す画像など、ある特殊な画像では、単純減少、単純増加となるが、これは例外的であり、ごく普通の物体が撮影されている場合は、必ず極大値をもつ。この時、最も大きな値を示すσを平滑化処理部１５における最適なパラメータとして選ぶ。
なお、以上の議論は、ガウス関数以外であってもパラメータにより平滑化を記述できる関数を用いれば、同じ議論が成り立つ。また、対数変換を行わない場合や順序が異なる場合も、同様に式を構成することができるので、同じ議論で必要なパラメータ値を得ることができる。これにより、最適な平滑化処理を定量的に得ることができる。
ここで、以上のような画像処理が、実際に何を行っていることになるのかを示しておく。これは、周波数帯域の特徴として考えるのが妥当である。はじめの対数変換は、物体の表面反射率と照度の積を和の形に変換するものである。次の平滑化処理、微分処理は、それぞれ高周波制限、低周波制限処理にあたる。よって２つの処理を行うことは、中程度の周波数への帯域制限処理（バンドパスフィルタ）である。この時、それぞれノイズ（主に高周波成分）、照明変動（主に低周波成分）を除去する。そして残る物体の表面の特徴をできるだけ残すことが可能となる。実際には、上述の方法で得られるパラメータの値は、物体の表面反射率の特徴を最も良く抽出する値であり、最も強調して利用する周波数帯域を定めていることになる。定量的にもこの値が、一般的な照明変動およびホワイトノイズに対する耐久性を最も得やすい。
【００２３】
また、上述の説明では、画素値変換処理部１４を設け、対数変換処理によりディジタル信号化された画像を、画像に記録された物体の表面反射率と照度の和で表される信号へ変換する場合を示したが、ガンマ補正値γ＜１なる係数を乗算されディジタル信号化された画像を画像処理する場合には、対数変換処理を近似的には省略できることを述べる。
ガンマ補正値γ係数は、入力の輝度に対し、出力を非線型にする時の係数である。ここで、出力画素値が輝度のγ乗（オフセットなど有り）と設定される。通例、画像を生成する際のγは１より小さいので、定性的にはあたかも対数変換と同様に輝度が大きくなるにつれ、その増加分に対する画素値の増加を減少させるという効果が得られる。従って、対数変換よりも軽微な演算量で同様な効果が得られる。
例えばテレビ映像では、コントラストが不足する部分をγ係数を用いて疑似的に広い帯域を表現しようとする方法を利用する。つまり、良く使われるγ＝１／２．２は、暗い部分のコントラストはあまり変化させず、明るい部分のコントラストを下げる効果を持つ。これは、近似的には対数変換と同じであり、従ってこのような場合には対数変換を省略しても、結果はほぼ同じものが得られる。具体的には、図１の画像変換処理部１４を省略することにあたる。
【００２４】
（第２の実施の形態）
次に、図２を用いて、第１の実施の形態による画像処理方法を用いた画像比較方法を、第２の実施の形態として説明する。
図２は、第２の実施の形態による画像比較装置の構成を説明するブロック図である。
図２において、符号２１は、画像比較装置へ入力された画像Ａである。符号２２は画像Ｂである。このうち、画像Ａ２１を辞書画像、画像Ｂ２２を入力画像と考える。すなわち、与えられた画像Ａ２１に対し、どれだけ画像Ｂ２２が類似しているかを計算することが目的である。
符号２３は、第１の実施の形態で説明した画素値変換処理部であって、画像Ａ２１に対する画素値変換処理部である。符号２４は、第１の実施の形態で説明した画素値変換処理部であって、画像Ｂ２２に対する画素値変換処理部である。
同様に、符号２５は、第１の実施の形態で説明した平滑化処理部であって、画素値変換処理部２３の出力に対する平滑化処理部である。符号２６は、第１の実施の形態で説明した平滑化処理部であって、画素値変換処理部２４の出力に対する平滑化処理部である。
同様に、符号２７は、第１の実施の形態で説明した微分処理部であって、平滑化処理部２５の出力に対する微分処理部である。符号２８は、第１の実施の形態で説明した微分処理部であって、平滑化処理部２６の出力に対する微分処理部である。
また、符号２９と符号３０は、それぞれ画像Ａ２１と画像Ｂ２２の画像処理結果であって、画像処理結果Ａ２９は微分処理部２７の、画像処理結果Ｂ３０は微分処理部２８の出力結果である。
符号３１は、画像処理結果Ａ２９と画像処理結果Ｂ３０とを比較する、画像比較処理部である。
符号３２は、画像比較処理部３１における画像比較結果である。
【００２５】
なお、図２においても第１の実施の形態と同様に、符号２１から符号３０における構成要素、あるいは信号は、順序を変えたり簡略化することが可能である。また、上述の画素値変換処理部２３と２４、平滑化処理部２５と２６、微分処理部２７と２８、画像比較処理部３１も第１の実施の形態と同様に、それぞれ専用のハードウェアにより実現されるものであってもよく、また、メモリおよびＣＰＵ（中央演算装置）により構成され、上記の各部の機能を実現するためのプログラムをメモリにロードして実行することにより、その機能を実現させるものであってもよい。
【００２６】
次に、本実施の形態の動作を説明する。
本実施の形態では、画像Ａ２１を基準としておき、画素値変換処理部２３と２４、平滑化処理部２５と２６、微分処理部２７と２８を用いて、第１の実施の形態で説明した画像処理方法により、画像Ａ２１の特徴を最も良く抽出するパラメータで画像Ａ２１、画像Ｂ２２の処理を行っておく。
画像比較処理部３１では、すでに画像１の特徴が最も良く得られているため、単純な方法で正確な比較を実現できる。
画像比較処理部３１における画像比較方法は、例えば、両画像の画素値の差分の和や、両画像の画素値の差の絶対値の２乗値、両画像の画素値の相関値等を計算し、その大小により、両画像の一致度を判断する方法が有効である。
また、画素値の相関値計算は、たとえ２枚の比較する画像が異なるＡ／Ｄ変換系により得られ、γ係数が異なっている場合でも、画素値変換処理部２３と２４を、簡単な対数変換処理とすれば良いという特徴を持つ。これは、相関の計算途中で、異なるγ係数の値の影響は分数の分母と分子に１回づつ現われるため、完全に除去されることによる。このため、次の第３の実施の形態で述べる画像マッチング方法の辞書画像と、比較される入力画像との系の違いを意識する必要がないことになる。これは、１つの「辞書」という画像を他の系を用いて撮影された画像へ適用できることを意味する。
【００２７】
（第３の実施の形態）
次に、図３を用いて、第２の実施の形態による画像比較方法を用いた画像マッチング方法を、第３の実施の形態として説明する。
図３は、第３の実施の形態による画像マッチング方法を説明する模式図である。
図３において、符号４１は、予め与えられる辞書画像である。符号４２は、入力画像であって、辞書画像４１より大きな画像である。図３における細かい一マスは、それぞれの画像の１ドットの大きさを示している。
辞書画像４１は、画像のずらしマッチングを行うための元画像であり、入力画像４２の一部と辞書画像４１との画像比較を行い、最も類似する結果が得られる位置を見つけるものである。これをここでは画像マッチングと呼ぶことにする。符号４３はマッチング位置Ａ、符号４４はマッチング位置Ｂを、それぞれ示す。
【００２８】
次に、本実施の形態の動作を説明する。
本実施の形態で説明する画像マッチング方法は、入力画像４２の中から辞書画像４１と同じ大きさの画像領域を順次選び（これを「ずらし」と表現する）、選ばれた領域と辞書画像４１とを用いて、第２の実施の形態で説明した画像比較方法により、画像比較を行う。この時、できるだけ細かいステップでマッチング位置を選ぶと、見落としがないマッチングが実現できる。しかし、これは処理量の増加を招くため、実際にはで見落としが無い程度できるだけ荒いステップでマッチング位置を選ぶ必要が生じる。このため、多くの場合、ステップを１ドットとしてマッチングが行なわれている。経験的に１ドットで不足する場合は、１ドットより細かいステップ（すなわちサブピクセル）を用いたマッチングが行われている。
微分処理および平滑化処理を経た結果の画像比較では、位置ずれが比較結果に与える影響を平滑化処理の度合いによって計算することができる。この結果は平滑化処理の度合いのみに依存し、画像のパターンそのものには依存しない。例えば平滑化処理をガウス関数で行い、かつ相関値０．８程度を十分な類似と判断する場合、σと位置ずれの許容度ｄにはおおよそｄ＜０．４４６σの関係が成り立つ。例えば、σが１．０以上であれば、サブピクセルを用いたずらしマッチングは不用で、１ドット単位のずらしマッチングで良いということが言える。これは、１ドット単位でずらしマッチングを行う場合のずれ量の最大値０．５ドットでも、相関値を概ね０．８以上を得ることができるという意味である。また逆にσが２．０以上の場合、すべてのドットを用いたずらしマッチングも不用である。これは見落としをなくすためという意味であり、勿論、より正確な位置決めが必要な場合には、細かなずらしマッチングを行うことを否定するものではない。
以上の直接的な効果は、σが大きい場合には画像を縮小した上でずらしマッチングを精度を落とさずに行うことができることである。たとえばσ＝３．０であれば、画像を１／３に縮小し、σ＝１．０を用いて１ドット単位のずらしマッチングを行えばよいことがわかる。これにより、無駄のない高速なマッチングが実現できる。
【００２９】
更に、第１の実施の形態で、既に示したように、σは最も強調して利用する周波数帯域を定めている。従って、利用しようとするσによって強調される周波数以上の周波数帯域は除去しても、画像比較には大きな影響を与えない。そのため、σが大きい場合、この値に従って不要な高周波成分の除去、すなわち画像の縮小を行っても十分な画像比較が実現できる。
縮小率は、例えばσ＝３．０の場合、画像を１／３に縮小してσ＝１．０を利用することができる。縮小率は、常に、
【数１０】
0003594889.tif 000011
という関係が成り立てば良い。（上の例では、縮小率＝１／３である）
例えば、処理アルゴリズムの中に第１の実施の形態で説明した方法で選ばれた最適なσを適用して、縮小後のσを１．０に近い値とするようにすることができる。この場合、画像を縮小により、画像ずらしマッチングのサーチステップを常に１に保つことができるという意味を持つ。
例えばガウス関数では、画像をｎ倍に拡大してσを同じｎ倍にすれば、結果的にはじめと同じ平滑化の効果が得られる。これはガウス関数に限らず、一般的な平滑化で成り立つ。従って、決めたσが大きい場合、画像を縮小しても同じ効果が得られることになる。
【００３０】
なお、上述の第１から第３の実施の形態で説明した、画像から必要情報を取り出す画像処理、２つの画像の比較処理、画像のずらしマッチング処理は、それぞれ、その機能を実現するためのプログラムを、コンピュータ読みとり可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述の各画像処理における機能を実現しても良い。
【００３１】
ここで、上記「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含み、さらにＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読みとり可能な記録媒体」とは、フロッピーディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に、「コンピュータ読みとり可能な記録媒体」とは、インターネット等のコンピュータネットワークや電話回線等の通信回線を介してプログラムを送出する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
【００３２】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、更に前述した機能をコンピュータシステムに既に記憶されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３３】
【発明の効果】
以上の如く本発明によれば、ディジタル信号化された画像の画像処理方法において、ディジタル信号化された画像を、物体の表面反射率と照度の和で表される信号へ変換する画素値変換処理と、画素値変換処理結果に、予め定められた平滑化を行う平滑化処理、及び低域の信号を軽減する微分処理と、平滑化処理における処理精度を、定量的に制御するパラメータ決定処理とを含む構成とした。
これにより、これまでのようなノウハウや実験により各種パラメータを設定するのはなく、定量的な画像処理、画像比較および画像ずらしマッチングを実現することが可能となる。
【００３４】
また、本発明は、パラメータ決定処理を、与えられるディジタル画像、もしくは画素値変換処理後の画像信号のノルムを計算する処理を含み、該ノルムが極大になるパラメータを、平滑化処理の処理精度を決定するパラメータの最適値とする構成とした。
これにより、画像の比較用パラメータを定量的に決定することで、各種外乱（照明変動、ノイズなどの影響）を除去し、物体そのものが持つ特徴を抽出することが可能となる。
更に、物体そのものが持つ特徴を抽出することにより、正確な（物体そのものの特徴を利用した）画像比較を実現することが可能となる。
同時に、画像の比較用パラメータを計算した結果、高周波成分が不要であるとの結論が出た場合、画像を縮小し、高速な画像比較を実現することが可能となる。
【００３５】
また、本発明は、ディジタル化された２枚の画像を比較して類似度を計算する画像比較方法において、２枚の画像に対し、それぞれ上記画像処理方法による画像処理と、画像処理後の結果を比較する画像比較処理とを含む構成とした。
これにより、外乱による画像の位置ずれ耐久性を予め予測できるため、どれだけ細かい位置ずれを考慮した画像比較を行う必要があるのかを予め決定でき、従って画像を利用した物体抽出を定量的に設計することが可能となる。
また、画像比較に用いる辞書の作成時にγ係数を考慮する必要がないため、異なるＡ／Ｄ変換系を経た画像を用いて、別のＡ／Ｄ変換系を利用した画像の画像比較も正確に実現することが可能となる。よって、画像マッチングを行う時場合、辞書画像として登録する画像の撮影系を意識する必要がない。
従って、与えられた画像の中から物体固有の特徴を効率的に取り出し、結果的に照明変動、ノイズなどの一般的な外乱に対する耐久性を持つ前処理（画像処理）方法を定量的な方法で得ると同時に、画像処理方法において、各種外乱に対する耐久性を持つバンドパスフィルタの設計方法を定量化することができるという効果が得られる。
【図面の簡単な説明】
【図１】第１の実施の形態による画像処理装置の構成を説明するブロック図である。
【図２】第２の実施の形態による画像比較装置の構成を説明するブロック図である。
【図３】第３の実施の形態による画像マッチング方法を説明する模式図である。
【符号の説明】
１１      シーン情報
１２      ディジタル画像生成処理部
１３      入力画像
１４      画素値変換処理部
１５      平滑化処理部
１６      微分処理部
１７      パラメータ決定処理部
１８      画像処理結果
２１      画像Ａ
２２      画像Ｂ
２３      画素値変換処理部
２４      画素値変換処理部
２５      平滑化処理部
２６      平滑化処理部
２７      微分処理部
２８      微分処理部
２９      画像処理結果Ａ
３０      画像処理結果Ｂ
３１      画像比較処理部
３２      画像比較結果
４１      辞書画像
４２      入力画像
４３      マッチング位置Ａ
４４      マッチング位置Ｂ
【図１】
0003594889.tif 000012
【図２】
0003594889.tif 000013
【図３】
0003594889.tif 000014