(57)【要約】【課題】照明条件が不均一な状態で対象物を含む濃淡画像が撮像された場合でも対象物の存否を簡単な処理で確実に検出できる画像処理方法および画像処理装置を提供する。【解決手段】保持手段３は、予め判定対象となる対象物を含む濃淡画像を得て、該濃淡画像から対象物の特徴を含む領域を抽出して作成したテンプレート画像を保持する。判定手段４は、Ａ／Ｄ変換手段２から入力される判定用の濃淡画像とテンプレート画像との相関値演算を行い、その演算結果から判定用の濃淡画像中における対象物の存否を判定する。判定手段４は、対象物の形状が対称要素に対して略対称な形状である場合、テンプレート画像又は判定用の濃淡画像の内少なくとも何れか一方の画像を得る過程において、この画像を対称要素を中心に対称な位置まで回転させて得た反転画像と、反転前の画像とをもとに対称要素に対して略対称な濃淡画像を作成し、該濃淡画像を用いて相関値演算を行う。【選択図】図１
2005339389.tif 000002
【特許請求の範囲】
【請求項１】
判定対象となる対象物を含む濃淡画像を得て、該濃淡画像から前記対象物の特徴を含む領域を抽出して作成したテンプレート画像を予め保持しておき、前記対象物を含むか否かを判定するための判定用の濃淡画像を得て、該濃淡画像と前記テンプレート画像との相関値演算を行い、この演算結果から前記判定用の濃淡画像中における前記対象物の存否を判定するにあたり、前記対象物の形状が対称要素に対して略対称な形状である場合に、前記テンプレート画像又は前記判定用の濃淡画像の内少なくとも何れか一方の画像を得る過程において、前記少なくとも何れか一方の画像が前記対称要素に対して略対称な濃淡画像となるような補正処理を行い、補正後の濃淡画像を用いて相関値演算を行うことを特徴とする画像処理方法。
【請求項２】
前記補正処理が、前記少なくとも何れか一方の画像において、前記対称要素に対して略対称な位置にある２つの画素の濃度平均値を求め、この濃度平均値を前記２つの画素の濃度値とする処理であることを特徴とする請求項１記載の画像処理方法。
【請求項３】
均一な照明条件下で前記対象物を撮像して得た濃淡画像において各画素の濃度値の統計計算を行って得た基準値を予め求めておき、前記補正処理が、前記少なくとも何れか一方の画像において、前記対称要素に対して略対称な２つの領域で統計計算を行い、統計計算の結果が前記基準値に近い方の領域の各画素の濃度値で、他方の領域の各画素の濃度値を置きかえる処理であることを特徴とする請求項１記載の画像処理方法。
【請求項４】
前記判定用の濃淡画像中を前記テンプレート画像で走査して、前記テンプレート画像と最も相関値の高い相似領域を求め、前記相似領域で前記判定用の濃淡画像から前記テンプレート画像に相当する大きさの画像を切り出して、切り出された画像を前記対称要素に対して略対称な濃淡画像となるように補正し、補正後の濃淡画像と前記テンプレート画像とで相関値演算を行って演算結果をもとに前記対象物の存否を判定することを特徴とする請求項１〜３の何れか１つに記載の画像処理方法
【請求項５】
前記テンプレート画像は、前記濃淡画像から前記対象物の特徴を含む領域を抽出した画像を、前記対称要素に対して略対称な濃淡画像となるように補正して得られた画像であることを特徴とする請求項１〜４の何れか１つに記載の画像処理方法。
【請求項６】
前記判定用の濃淡画像中を前記テンプレート画像で走査して、前記テンプレート画像と最も相関値の高い第１相似領域を求め、この第１相似領域で相関値演算を行う処理と、前記第１相似領域で前記判定用の濃淡画像から前記テンプレート画像に相当する大きさの画像を切り出して、切り出された画像を前記対称要素に対して略対称な濃淡画像となるように補正し、補正後の濃淡画像と前記テンプレート画像とで相関値演算を行う処理と、前記テンプレート画像を対称要素に対して略対称な濃淡画像となるように補正し、補正後の濃淡画像を新たなテンプレート画像とし、前記判定用の濃淡画像中を変更後の前記テンプレート画像で走査して、変更後の前記テンプレート画像と最も相関値の高い第２相似領域を求め、この第２相似領域で相関値演算を行う処理と、前記第２相似領域で前記判定用の濃淡画像から変更後の前記テンプレート画像に相当する大きさの画像を切り出して、切り出された画像を前記対称要素に対して略対称な濃淡画像となるように補正し、補正後の濃淡画像と変更後の前記テンプレート画像とで相関値演算を行う処理とを行い、少なくとも何れか１つの相関値演算の結果が所定のしきい値を超えると、対象物が存在すると判断することを特徴とする請求項１〜５の何れか１つに記載の画像処理方法
【請求項７】
予め判定対象となる対象物を含む濃淡画像を得て、該濃淡画像から前記対象物の特徴を含む領域を抽出して作成したテンプレート画像を保持する保持手段と、前記対象物の存否を判定するための判定用の濃淡画像を入力する画像入力手段と、判定用の前記濃淡画像と前記テンプレート画像との相関値演算を行い、この演算結果から判定用の前記濃淡画像中における前記対象物の存否を判定する判定手段とを備え、
前記対象物の形状が対称要素に対して略対称な形状である場合に、前記判定手段が、前記テンプレート画像又は前記判定用の濃淡画像の内少なくとも何れか一方の画像を得る過程において、該画像が前記対称要素に対して略対称な濃淡画像となるような補正処理を行い、補正後の濃淡画像を用いて相関値演算を行うことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テンプレートマッチングを利用して入力濃淡画像中における対象物の存否を判定する画像処理方法並びに画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、テンプレートマッチングを利用して入力濃淡画像中における対象物の存否を判定する画像処理方法並びに画像処理装置が様々な分野で利用されている（特許文献１参照）。一般的なテンプレートマッチングにおいては、テンプレート画像と入力濃淡画像の各画素毎の濃度値Ｉ(i,j)、Ｔ(i,j)から、下記の（式１）で示す残差Ｒや（式２）で示す相互相関係数Ｃ（これらを総称して「相関値」と呼ぶ）を求め、該相関値から両画像の一致度を判定している。
【０００３】
【数１】
2005339389.tif 000003
【０００４】
ところで、近年では上述のようなテンプレートマッチングを利用して個人認証を行う方法や装置がセキュリティ分野で用いられている。例えば、図７（ａ）に示すように入室が許可された人物の顔の濃淡画像（以下、単に「顔画像」と呼ぶ）を予めテンプレート画像ＴＰとして登録しておき、入室を希望する希望者の顔画像Ｖが入力されると、図７（ｂ）に示すようにテンプレート画像ＴＰと顔画像Ｖとのパターンマッチングを行って相関値を演算し、その相関値に基づいて当該希望者が入出を許可されている人物と一致しているか否かを判定するものである。
【特許文献１】特開平１１−２８４９９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、濃淡画像をそのまま用いてテンプレートマッチングを行うと、テンプレート画像ＴＰを作成するための濃淡画像を撮像したときと、判定用の入力濃淡画像を撮像したときとで、局所的なスポット光の照射や照明状況の不均一な変化が顔画像の濃度値に加わって、正確なパターンマッチングを行い難くなる。
【０００６】
例えば、図８（ａ）に示すように判定対象である人物の顔に照明光が均一に照射されている場合は、人物の顔画像Ｖが鼻を通る顔の中心線（対称軸）Ｌに対して線対称な画像となっているが、同図（ｂ）に示すように人物の顔に局所的なスポット光が照射されたり、照明状況が不均一になると、この時の顔画像Ｖ’の濃淡分布が顔の対称軸Ｌに対して非対称になるため、判定対象の顔の特徴が失われてしまう。したがって、このような顔画像Ｖ’とテンプレート画像ＴＰとを比較したとしても、対象物の存否を正確に判断することができなかった。
【０００７】
ここで、照射光に偏りがあって、照明状況が不均一な状態とは、顔の片側から強い光を浴びている場合を想定しており、通常、強い光を浴びている側は明るい画像となり、反対側は顔の凹凸などに遮られて照射光が届かない部位が発生するため、暗い画像になる。
【０００８】
このような照明光が不均一に照射されている顔画像をもとに、照明光が均一に照射されている状態の画像を復元する方法としては、照明光の照射されている方向を検出し、対象物の凹凸によって影となっている部分の濃度値を補正する方法があるが（例えば情報処理学会研究報告  2003-CVIM-139、P61「３Ｄ物体表面上での見えモデル構築による姿勢と照明の変動に頑強な顔照合」参照）、補正のための計算処理が過大で、高性能のコンピュータを使用する必要があり、また計算処理に長時間を要するため、対象物の存否の判定に時間がかかるという問題があった。
【０００９】
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、照明条件が不均一な状態で対象物を含む入力濃淡画像が撮像された場合でも対象物の存否を簡単な処理で確実に検出できる画像処理方法および画像処理装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、請求項１の発明は、判定対象となる対象物を含む濃淡画像を得て、該濃淡画像から対象物の特徴を含む領域を抽出して作成したテンプレート画像を予め保持しておき、対象物を含むか否かを判定するための判定用の濃淡画像を得て、該濃淡画像とテンプレート画像との相関値演算を行い、この演算結果から判定用の濃淡画像中における対象物の存否を判定するにあたり、対象物の形状が対称要素に対して略対称な形状である場合に、テンプレート画像又は判定用の濃淡画像の内少なくとも何れか一方の画像を得る過程において、少なくとも何れか一方の画像が対称要素に対して略対称な濃淡画像となるような補正処理を行い、補正後の濃淡画像を用いて相関値演算を行うことを特徴とする。
【００１１】
請求項２の発明は、請求項１の発明において、補正処理が、少なくとも何れか一方の画像において、対称要素に対して略対称な位置にある２つの画素の濃度平均値を求め、この濃度平均値を２つの画素の濃度値とする処理であることを特徴とする。
【００１２】
請求項３の発明は、請求項１の発明において、均一な照明条件下で対象物を撮像して得た濃淡画像において各画素の濃度値の統計計算を行って得た基準値を予め求めておき、補正処理が、少なくとも何れか一方の画像において、対称要素に対して略対称な２つの領域で統計計算を行い、統計計算の結果が基準値に近い方の領域の各画素の濃度値で、他方の領域の各画素の濃度値を置きかえる処理であることを特徴とする。
【００１３】
請求項４の発明は、請求項１〜３の何れか１つの発明において、判定用の濃淡画像中をテンプレート画像で走査して、テンプレート画像と最も相関値の高い相似領域を求め、相似領域で判定用の濃淡画像からテンプレート画像に相当する大きさの画像を切り出して、切り出された画像を対称要素に対して略対称な濃淡画像となるように補正し、補正後の濃淡画像とテンプレート画像とで相関値演算を行って演算結果をもとに対象物の存否を判定することを特徴とする。
【００１４】
請求項５の発明は、請求項１〜４の何れか１つの発明において、テンプレート画像は、濃淡画像から対象物の特徴を含む領域を抽出した画像が、対称要素に対して略対称な濃淡画像となるように補正して得られた画像であることを特徴とする。
【００１５】
請求項６の発明は、請求項１〜５の何れか１つの発明において、判定用の濃淡画像中をテンプレート画像で走査して、テンプレート画像と最も相関値の高い第１相似領域を求め、この第１相似領域で相関値演算を行う処理と、第１相似領域で判定用の濃淡画像からテンプレート画像に相当する大きさの画像を切り出して、切り出された画像を対称要素に対して略対称な濃淡画像となるように補正し、補正後の濃淡画像とテンプレート画像とで相関値演算を行う処理と、テンプレート画像を対称要素に対して略対称な濃淡画像となるように補正し、補正後の濃淡画像を新たなテンプレート画像とし、判定用の濃淡画像中を変更後のテンプレート画像で走査して、変更後のテンプレート画像と最も相関値の高い第２相似領域を求め、この第２相似領域で相関値演算を行う処理と、第２相似領域で判定用の濃淡画像から変更後のテンプレート画像に相当する大きさの画像を切り出して、切り出された画像を対称要素に対して略対称な濃淡画像となるように補正し、補正後の濃淡画像と変更後のテンプレート画像とで相関値演算を行う処理とを行い、少なくとも何れか１つの相関値演算の結果が所定のしきい値を超えると、対象物が存在すると判断することを特徴とする。
【００１６】
請求項７の発明は、予め判定対象となる対象物を含む濃淡画像を得て、該濃淡画像から対象物の特徴を含む領域を抽出して作成したテンプレート画像を保持する保持手段と、対象物の存否を判定するための判定用の濃淡画像を入力する画像入力手段と、判定用の濃淡画像とテンプレート画像との相関値演算を行い、この演算結果から判定用の濃淡画像中における対象物の存否を判定する判定手段とを備え、対象物の形状が対称要素に対して略対称な形状である場合に、判定手段が、テンプレート画像又は判定用の濃淡画像の内少なくとも何れか一方の画像を得る過程において、該画像が対称要素に対して略対称な濃淡画像となるような補正処理を行い、補正後の濃淡画像を用いて相関値演算を行うことを特徴とする。
【発明の効果】
【００１７】
請求項１の発明によれば、対象物の形状が対称要素に対して略対称な形状であるにも関わらず、照明条件が不均一なために対象物を含むテンプレート画像或いは判定用の濃淡画像が対称要素に対して非対称な画像となって、対象物の特徴が失われている場合でも、テンプレート画像又は判定用の濃淡画像の内少なくとも何れか一方の画像を対称要素に対して略対称な濃淡画像となるような補正処理を行い、補正後の濃淡画像を用いて相関値演算を行っているので、濃淡画像に含まれる対象物の特徴を復元することで、対象物の存否を確実に判定可能な画像処理方法を提供することができる。
【００１８】
請求項２の発明によれば、少なくとも何れか一方の画像において、対称要素に対して略対称な位置にある２つの画素の濃度平均値を求め、この濃度平均値を２つの画素の濃度値とすることによって、対称要素に対して略対称な濃淡画像を作成しているので、簡単な処理で対称要素に対して略対称な画像を作成可能な画像処理方法を提供することができる。
【００１９】
請求項３の発明によれば、均一な照明条件下で対象物を撮像して得た濃淡画像中の任意の比較領域において各画素の濃度値の統計計算を行って得た基準値を予め求めておき、少なくとも何れか一方の画像において、対称要素に対して略対称な２つの領域で統計計算を行い、統計計算の結果が基準値に近い方の領域の各画素の濃度値で、他方の領域の各画素の濃度値を置きかえることによって、対称要素に対して略対称な濃淡画像を作成しているので、簡単な処理で対称要素に対して略対称な画像を作成可能な画像処理方法を提供することができる。
【００２０】
請求項４の発明によれば、判定用の濃淡画像中をテンプレート画像で走査して、最も相関値の高い相似領域を求め、この相似領域の画像を対称要素に対して略対称な濃淡画像に補正して、補正後の濃淡画像とテンプレート画像とで相関値演算を行って、その演算結果をもとに対象物の存否を判定しているので、判定用の濃淡画像を撮像した時の照明条件が不均一であっても、対象物の存否を確実に判定可能な画像処理方法を提供することができる。
【００２１】
請求項５の発明によれば、テンプレート画像は、濃淡画像から対象物の特徴を含む領域を抽出した画像を、対称要素に対して略対称な濃淡画像となるように補正して得られた画像であり、テンプレート作成用の濃淡画像が不均一な照明条件下で撮像されたために対象物の特徴が損なわれた場合でも、対称要素に対して略対称な濃淡画像となるように補正することで、対象物の特徴を復元することができ、対象物の存否を確実に判定可能な画像処理方法を提供することができる。
【００２２】
請求項６の発明によれば、第１相似領域の濃淡画像とテンプレート画像との相関値演算を行う処理と、第１相似領域の画像を対称要素に対して略対称な濃淡画像となるように補正した画像とテンプレート画像との相関値演算を行う処理と、対称要素に対して略対称な画像となるように補正された補正後のテンプレート画像と第２相似領域の濃淡画像との相関値演算を行う処理と、補正後のテンプレート画像と第２相似領域の画像を対称要素に対して略対称な濃淡画像となるように補正した画像との相関値演算を行う処理とを行い、以上４つの処理の演算結果の内、少なくとも１つの演算結果が所定のしきい値を超えると、対象物が存在すると判断しているので、判定用の濃淡画像あるいはテンプレート画像を撮像した時の照明条件が均一であっても不均一であっても、対象物の存否を確実に判定可能な画像処理方法を提供することができる。
【００２３】
請求項７の発明によれば、対象物の形状が対称要素に対して略対称な形状であるにも関わらず、照明条件が不均一なために対象物を含むテンプレート画像或いは判定用の濃淡画像が対称要素に対して非対称な画像となって、対象物の特徴が失われている場合でも、判定手段が、テンプレート画像又は判定用の濃淡画像の内少なくとも何れか一方の画像を対称要素に対して略対称な濃淡画像となるような補正処理を行い、補正後の濃淡画像を用いて相関値演算を行っているので、濃淡画像に含まれる対象物の特徴を復元することで、対象物の存否を確実に判定可能な画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２４】
（実施形態１）
図１は本発明の画像処理方法を実施するための画像処理装置を、認証された人物のみに入室を許可する入室管理装置に適用した一実施形態を示しており、対象物（例えば、人物Ｈ）を含めた画像を撮像するＣＣＤカメラのような撮像手段１と、撮像手段１で撮像されたアナログの画像信号をデジタル信号に変換するＡ／Ｄ変換手段２と、予め判定対象となる対象物（例えば、入室が許可されている人物）を含む濃淡画像を得て該濃淡画像から対象物の特徴を含む領域を抽出して作成したテンプレート画像を保持する保持手段３と、Ａ／Ｄ変換手段２から入力される判定用の濃淡画像とテンプレート画像との相関値演算を行い、この演算結果から判定用の濃淡画像中における対象物の存否、言い換えれば、撮像された人物Ｈの顔がテンプレート画像として予め登録された人物の顔に一致するか否かを判定する判定手段４とを備えている。なお、少なくとも保持手段３並びに判定手段４は、例えば汎用のコンピュータに各手段における処理を実行させるためのソフトウェア（プログラム）を搭載して構成される。
【００２５】
撮像手段１により対象物を含めた画像が撮像され、撮像手段１で撮像されたアナログの画像信号がＡ／Ｄ変換手段２によりデジタル信号に変換されて判定手段４に入力されると、判定手段４は、Ａ／Ｄ変換手段２から入力された判定用の入力濃淡画像と保持手段３に保持されたテンプレート画像との相関値演算を行い、判定対象である人物の顔の一致度を判定する。
【００２６】
まず判定手段４は、判定用の入力濃淡画像の初期位置（例えば、画像の左上隅の位置）にテンプレート画像をおき、テンプレート画像の各画素と、これに重なる入力濃淡画像（以下、「部分画像」と呼ぶ）の各画素との間で画素値（濃度値）の差分を求め、この差分の絶対値を相関値ａとする。そして、判定手段５は部分画像中の全ての画素について相関値ａを求めたら、これらの相関値ａの総和を、部分画像に含まれる全ての画素数で除算したものを新たに相関値ｂと定義する。
【００２７】
このようにして求めた相関値ｂは一致度が高くなるにつれて値が小さくなり、一致度が低くなるにしたがって値が大きくなる。したがって、判定手段４は、相関値ｂが所定のしきい値以下であれば、部分画像がテンプレート画像に一致したと判断し、対象の人物Ｈが予め登録されている人物と一致した旨の判定結果を出力して処理を終了する。また、相関値ｂが所定のしきい値よりも大きいために部分画像がテンプレート画像に一致しなかった場合、判定手段４はその部分画像の端が入力画像における水平方向の端に一致しているか否か、すなわち、垂直方向における同一位置において水平方向の全ての画素についての上記判定処理が完了しているか否かを判断し、一致していなければ、テンプレート画像を入力画像に対して水平方向に１画素分だけずらして新たな部分画像との間で上記判定処理を行う。また、部分画像の端が入力画像における水平方向の端に一致している場合、判定手段４はその部分画像の端が入力画像における垂直方向の端に一致しているか否か、すなわち、水平方向における同一位置において垂直方向の全ての画素についての上記判定処理が完了しているか否かを判断し、一致していなければ、テンプレート画像を入力画像に対して垂直方向に１画素分だけずらして新たな部分画像との間で上記判定処理を行う。そして、部分画像の端が入力画像における垂直方向の端に一致している場合、判定手段４は入力画像中にテンプレート画像に一致する画像が存在しなかった、すなわち、対象の人物Ｈが予め登録されている人物と一致しなかった旨の判定結果を出力して処理を終了する。
【００２８】
ところで、判定対象である人物の顔は左右対称性を有しており、鼻を通る顔の中心線（対称軸）に対して線対称であるが、図２（ａ）に示すようにテンプレート画像ＴＰにおいて局所的なスポット光の照射や照明条件の不均一な変化が濃度値に加わると、顔画像の左右対称性が崩れて、対象物の特徴が失われてしまい、パターンマッチングが正確に行えなくなる可能性がある。同様に、判定用の入力濃淡画像を撮像する際に局所的なスポット光の照射や照明条件の不均一な変化が顔画像の濃度値に加わると、顔画像の左右対称性が崩れて、対象物の特徴が失われてしまうため、やはりパターンマッチングが正確に行えなくなる可能性がある。
【００２９】
そこで、本実施形態では判定手段４が、テンプレート画像及び判定用の濃淡画像を得る過程において、テンプレート画像及び判定用の濃淡画像を対称要素を中心に対称な位置まで回転させた反転画像をそれぞれ作成し、これら反転画像と元の画像とをもとに、元の画像が対称要素に対して略対称な濃淡画像となるような補正処理を行い、補正後の濃淡画像を用いて対象物の存否を判定するようにしている。
【００３０】
図２（ａ）はテンプレート画像ＴＰの例図であり、このテンプレート画像ＴＰは、撮像時に人物の顔の左側から光が照射されたために、対称軸Ｌを挟んで左側の領域に比べ右側の領域の方が暗くなっている。このとき判定手段４では、テンプレート画像ＴＰを対称軸Ｌの周りに１８０度回転させることで対称軸Ｌに対して対称な濃淡画像を求め、この濃淡画像と反転前の濃淡画像Ｖ１とを用いて対称軸Ｌに対して略対称な濃淡画像を作成するのであるが、例えば反転画像の各画素の濃度値と、反転前のテンプレート画像ＴＰの対応する画素の濃度値との平均値を、実際の相関値演算に用いるテンプレート画像ＴＰ’の対応する画素の濃度値としている。すなわちテンプレート画像ＴＰ中の対称軸に対して対称な２つの画素の画素値をａ１，ｂ１とすると、実際の相関値演算に用いるテンプレート画像ＴＰ’の対応する２つの画素の画素値Ａ１，Ｂ２は以下の（式３）で示される。
【００３１】
Ａ１＝Ａ２＝（ａ１＋ｂ１）／２  …（式３）
このように、判定手段４では、テンプレート画像ＴＰ中の対称軸Ｌを挟んで対称な位置にある２つの画素の平均値を、実際の相関値演算に用いるテンプレート画像ＴＰ’中の２つの画素の画素値（濃度値）としているので、予め保持されたテンプレート画像ＴＰが、顔の片側のみにスポット光が照射されるなどして、各画素の濃度値が対称軸に対して非対称となった場合でも、テンプレート画像ＴＰ中で明るい領域と暗い領域の画素値を略平均化して、明るさに偏りのないテンプレート画像ＴＰ’を作成することができ、このテンプレート画像ＴＰ’を実際の判定に用いることによって、対象物の存否の判定を正確に行うことができる。
【００３２】
ところで上記の説明ではテンプレート画像ＴＰを対称軸に対して略対称なテンプレート画像ＴＰ’に補正する場合を例に説明を行ったが、判定用の濃淡画像を得る場合にも上述と同様の処理を行うことで、判定用の濃淡画像を対称軸に対して略対称な濃淡画像に変更することができる。なお濃淡画像の全ての画素について、反転画像中の対応する画素との間で濃度値の平均値を求めて、この平均値を補正後の濃淡画像の画素値とする必要はなく、濃淡画像中で対象物を同定するのに特徴的な領域（例えば人の顔の場合には目、眉、口、鼻などの領域）のみで相関値演算を行うのであれば、この特徴領域のみで対称軸に対して略対象な画像となるよう上述と同様の補正処理を行い、補正後の濃淡画像について相関値演算を行えば良い。
【００３３】
（実施形態２）
本発明の実施形態２を図３に基づいて説明する。なお画像処理装置の基本的な構成は実施形態１と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。
【００３４】
上述の実施形態１では、対象物の形状が対称軸に対して線対称な形状である場合に、テンプレート画像及び判定用の濃淡画像を対称軸に対して対称な位置に反転させることによって得られた反転画像の各画素の濃度値と、反転前の画像の対応する画素の濃度値との平均値を、実際の相関値演算に用いる濃淡画像の各画素の濃度値としているが、本実施形態では、相関値演算に用いる濃淡画像の各画素の濃度値を、反転画像の対応する画素の濃度値、または、反転前の濃淡画像の対応する画素の濃度値の何れかの濃度値としている。
【００３５】
すなわち、判定手段４では、明るさに偏りがない均一な照明条件下で撮像して得た顔画像を得て、この顔画像の対称軸を境界として分割された左右２つの比較領域の各々について、各比較領域に含まれる全ての画素の画素値の統計計算を行い、その計算結果（例えば平均値や分散）を基準値として予め保持している。
【００３６】
そして、判定手段４では、テンプレート画像及び判定用の濃淡画像を得る過程においてテンプレート画像及び判定用の濃淡画像を対称要素に対して対称な位置に反転させて得た反転画像と反転前の画像の対応する比較領域でそれぞれ各画素の濃度値の統計計算を行い、その計算結果が基準値に近い方の画像の当該比較領域における各画素の濃度値を、相関値演算に用いる濃淡画像の比較領域における各画素の濃度値としている。例えば判定手段４は、各画像の対称軸（対称要素）に対して略対称な２つの領域、この場合は対称軸を境界として分割された左右２つの領域（比較領域）の各々で、各領域に含まれる全ての画素の画素値の統計計算（平均値の算出）を行い、この統計計算の結果（平均値）が予め求めた基準値に近いほうの領域を採用し、この領域内の各画素の画素値で、他方の領域内の対応する画素の画素値を置きかえる補正処理を行うことで、実際の相関値演算に使用する濃度画像を得ている。
【００３７】
図３（ａ）はテンプレート画像ＴＰの例図であり、このテンプレート画像ＴＰは、撮像時に人物の顔の左側から光が照射されたために、対称軸Ｌを挟んで左側の領域Ｗ１に比べ右側の領域Ｗ２の方が暗くなっている。このとき判定手段４では、テンプレート画像ＴＰを対称軸Ｌを境界として左右２つの領域Ｗ１，Ｗ２に分割し、左右２つの領域Ｗ１，Ｗ２でそれぞれ領域内の全画素の画素値の平均値を求め、予め求めておいた基準値に近い方の領域を採用し、採用した領域内の全ての画素の画素値で、反対側の領域の各画素の画素値を置きかえている。例えば対称軸Ｌに対して左側の領域Ｗ１の画素値の平均の方が基準値に近ければ、右側の領域Ｗ２の各画素の画素値を、左側の領域Ｗ１の対応する画素の画素値で置きかえて、相関値演算に用いる濃淡画像を得ている。すなわち変更後のテンプレート画像ＴＰ’中の対称軸Ｌに対して対称な２つの画素の画素値をＡ２，Ｂ２とし、この２つの画素に対応する元のテンプレート画像ＴＰ中の２つの画素の画素値をａ２，ｂ２とすると、この場合はＡ２＝Ｂ２＝ａ２となる。また対称軸Ｌに対して右側の領域Ｗ２の画素値の平均の方が基準値に近ければ、左側の領域Ｗ１の各画素の画素値を、右側の領域Ｗ１の対応する画素の画素値で置きかえて、相関値演算に用いる濃淡画像を求めており、この場合はＡ２＝Ｂ２＝ｂ２となる。
【００３８】
このように、判定手段４では、理想的な照明条件下で撮像された濃淡画像中の任意の比較領域で画素値の平均値を求め、この平均値を基準値として予め把握しておき、その後テンプレート画像が入力された際に、このテンプレート画像とテンプレート画像を対称要素に対して反転させた反転画像の各々について対応する比較領域の画素値の平均値を求め、予め求めた基準値に近い方の画像の比較領域における各画素の画素値を、実際の相関値演算に用いる画像の比較領域における各画素の画素値としているので、顔画像の片側のみにスポット光が照射されるなどして、各画素の濃度値が対称軸に対して非対称となった場合でも、テンプレート画像ＴＰ中の明るい領域と暗い領域の画素値を略平均化して、明るさに偏りのないテンプレート画像ＴＰ’を作成することができ、このテンプレート画像ＴＰ’を実際の相関値演算に用いることで、対象物の存否の判定を正確に行うことができる。
【００３９】
ところで上記の説明ではテンプレート画像ＴＰを対称軸に対して略対称なテンプレート画像ＴＰ’に補正する場合を例に説明を行ったが、判定用の濃淡画像を得る場合にも上述と同様の補正処理を行うことで、判定用の濃淡画像を対称軸に対して略対称な濃淡画像に変更することができる。
【００４０】
なお本実施形態では濃淡画像を対称軸Ｌを挟んだ左右２つの領域に分割し、各々の領域について領域中の各画素の平均値を求め、予め求めた基準値に近い方の領域を採択し、採択された領域の画素で反対側の領域の画素を置きかえているが、濃淡画像中で対象物を同定するのに特徴的な領域（例えば人の顔の場合には目、眉、口、鼻などの領域）のみで相関値演算を行うのであれば、この特徴領域のみで上記の処理を実行しても良い。すなわち理想的な照明環境下で撮像された濃淡画像の中で、目の部分に対応する領域中の各画素の濃度値の平均値を予め求めておき、テンプレート画像又は判定用の入力濃淡画像を得る過程でこれらの画像中で目の部分に対応し、且つ、対称軸に対して対称な２つの領域中の各画素の濃度値の平均値をそれぞれ求め、予め求めた平均値に近い領域を採用し、この領域中の各画素の濃度値で反対側の領域中の各画素の濃度値を置きかえるようにしても良い。
【００４１】
また上述の各実施形態では判定手段４が、テンプレート画像ＴＰおよび判定用の濃淡画像の両方について、対称要素に対して対称な位置に反転させた反転画像と反転前の画像とから対称要素に対して略対称な画像を作成し、この画像を用いて相関値演算を行っているが、テンプレート画像ＴＰ又は判定用の濃淡画像の内、不均一な照明条件下で撮像された何れかの画像について反転画像と反転前の画像とから対称要素に対して略対称な画像を作成し、この画像を用いて相関値演算を行うようにしても良い。
【００４２】
（実施形態３）
本発明の実施形態３を図４に基づいて説明する。なお画像処理装置の基本的な構成は実施形態１と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。
【００４３】
従来のテンプレートマッチングでは予め用意したテンプレート画像で入力濃淡画像を走査して、各々の位置で相関値演算を行い、相関値が最大となる位置に対象物が存在すると仮定し、この位置での相関値を用いて対象物の存否を判定していた。
【００４４】
ここで、判定用の入力濃淡画像、又は、テンプレート画像が不均一な照明条件下で撮像された場合にテンプレートマッチングを行って最大の相関値を用いて対象物の存否を判断すると、不均一な照明条件下で撮像された濃淡画像では対称軸に対する対称性が損なわれているために、相関値が低めにでる傾向があり、対象物が存在するにも関わらず、対象物が存在しないという誤った判断を行う可能性があった。
【００４５】
そこで本実施形態では、判定手段４が保持手段３に保持されたテンプレート画像を用いて判定用の入力濃淡画像を走査して相関値の最も高い第１相似領域を探索し、この相似領域で相関値演算を行った後、テンプレート画像を実施形態１で説明した方法で対称要素に対して略対称な濃淡画像に変換し、変換後のテンプレート画像を用いて判定用の入力濃淡画像を再度走査して相関値が最も高い第２相似領域を探索し、この第２相似領域で再度相関値を演算しており、２回の相関値演算の演算結果に基づいて対象物の存否を判断している。
【００４６】
ここで、判定手段４による判定処理を図４のフローチャートに基づいて説明する。まず判定手段４は、入力画像の初期位置（例えば、左上隅の位置）にテンプレート画像をおき（Ｓ１）、テンプレート画像の各画素と、これに重なる入力画像（部分画像）の各画素との間で画素値（濃度値）の差分を求めるとともに、差分の絶対値を各画素毎の相関値ａとする。そして、部分画像中の全ての画素について相関値ａを求めたら、これらの相関値ａの総和を、部分画像に含まれる全ての画素数で除算したものを新たに相関値ｂと定義し、この位置での相関値ｂとして記憶する（Ｓ２）。相関値ｂの演算が終了すると、判定手段４は、部分画像の端が入力画像における水平方向の端に一致しているか否か、すなわち、垂直方向における同一位置において水平方向の全ての画素についての上記判定処理が完了しているか否かを判断し（Ｓ３）、一致していなければ、テンプレート画像を入力画像に対して水平方向に１画素分だけずらして新たな部分画像との間で上記判定処理を行う（Ｓ４）。また、部分画像の端が入力画像における水平方向の端に一致している場合、判定手段４はその部分画像の端が入力画像における垂直方向の端に一致しているか否か、すなわち、水平方向における同一位置において垂直方向の全ての画素についての上記判定処理が完了しているか否かを判断し（Ｓ５）、一致していなければ、テンプレート画像を入力画像に対して垂直方向に１画素分だけずらして新たな部分画像との間で上記判定処理を行う（Ｓ６）。そして、部分画像の端が入力画像における垂直方向の端に一致している場合、判定手段４は、入力画像の全ての位置でテンプレート画像と部分画像との間で判定処理を終了したと判断し、全ての位置での相関値ｂの内、最も大きな相関値Ａとその時のテンプレート画像の位置とを記憶する（Ｓ７）。
【００４７】
その後、判定手段４は、実施形態１で説明した方法を用いてテンプレート画像を、対称要素に対して略対称な濃淡画像に変換して、この濃淡画像を新たなテンプレート画像とし（Ｓ８）、上述したＳ１〜Ｓ６と同様の処理を行って、入力画像の全ての位置で新たなテンプレート画像と部分画像との間の相関値を求め（Ｓ９〜Ｓ１４）、全ての位置での相関値の内、最も大きな相関値Ｂとその時のテンプレート画像の位置とを記憶する（Ｓ１５）。
【００４８】
そして、変換前と変換後のテンプレート画像を用いたテンプレートマッチングが終了すると、判定手段４は、２つの相関値Ａ、Ｂと所定のしきい値との高低を比較し、何れか一方の相関値Ａ、Ｂがしきい値を超えると対象物が存在すると判断し、判断結果と、一致したテンプレート画像が変換前のものか変換後のものかを示すテンプレート情報とを出力する（Ｓ１６）。なお判定手段４では、２つの相関値Ａ、Ｂが両方ともにしきい値を超えた場合のみ対象物が存在すると判断しても良く、対象物の存否を確実に判定できる。
【００４９】
なお本実施形態では、保持手段３に保持されたテンプレート画像を、実施形態１で説明した方法により対称軸に対して略対称な画像に変換して新たなテンプレート画像としているが、実施形態２で説明した方法により対称軸に対して略対称な画像に変換しても良い。
【００５０】
（実施形態４）
本発明の実施形態４を図５に基づいて説明する。なお画像処理装置の基本的な構成は実施形態１と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。
【００５１】
実施形態３で説明したように、判定用の入力濃淡画像又はテンプレート画像が不均一な照明条件下で撮像された場合にテンプレートマッチングを行って最大の相関値を用いて対象物の存否を判断すると、不均一な照明条件下で撮像された濃淡画像では対称軸に対する対称性が損なわれているために、相関値が低めにでる傾向があり、対象物が存在するにも関わらず、対象物が存在しないという誤った判断を行う可能性があった。
【００５２】
そこで本実施形態では、判定手段４が、テンプレート画像で判定用の入力濃淡画像を走査して相関値が最も高い相似領域を探索し、この相似領域で相関値演算を行った後、この相似領域でテンプレート画像に相当する大きさの画像を切り出して、切り出した画像を実施形態１で説明した方法で対称要素に対して略対称な濃淡画像に変換し、この濃淡画像とテンプレート画像とで再度相関値演算を行っており、２回の相関値演算の演算結果に基づいて対象物の存否を判断している。
【００５３】
ここで、判定手段４による判定処理を図５のフローチャートに基づいて説明する。まず判定手段４は、入力画像の初期位置（例えば、左上隅の位置）にテンプレート画像をおき（Ｓ２１）、テンプレート画像の各画素と、これに重なる入力画像（部分画像）の各画素との間で画素値（濃度値）の差分を求めるとともに、差分の絶対値を各画素毎の相関値Ａとする。そして、部分画像中の全ての画素について相関値ａを求めたら、これらの相関値ａの総和を、部分画像に含まれる全ての画素数で除算したものを新たに相関値ｂと定義し、この位置での相関値ｂとして記憶する（Ｓ２２）。相関値ｂの演算が終了すると、判定手段４は、部分画像の端が入力画像における水平方向の端に一致しているか否か、すなわち、垂直方向における同一位置において水平方向の全ての画素についての上記判定処理が完了しているか否かを判断し（Ｓ２３）、一致していなければ、テンプレート画像を入力画像に対して水平方向に１画素分だけずらして新たな部分画像との間で上記判定処理を行う（Ｓ２４）。また、部分画像の端が入力画像における水平方向の端に一致している場合、判定手段４はその部分画像の端が入力画像における垂直方向の端に一致しているか否か、すなわち、水平方向における同一位置において垂直方向の全ての画素についての上記判定処理が完了しているか否かを判断し（Ｓ２５）、一致していなければ、テンプレート画像を入力画像に対して垂直方向に１画素分だけずらして新たな部分画像との間で上記判定処理を行う（Ｓ２６）。そして、部分画像の端が入力画像における垂直方向の端に一致している場合、判定手段４は、入力画像の全ての位置でテンプレート画像と部分画像との間で判定処理を終了したと判断し、全ての位置での相関値の内、最も大きな相関値Ｃとその時のテンプレート画像の位置とを記憶する（Ｓ２７）。
【００５４】
次に判定手段４は、相関値が最大の相似領域で入力画像からテンプレート画像に相当する大きさの画像を切り出して、切り出した画像を実施形態１で説明した方法で対称要素に対して略対称な濃淡画像に変換した後（Ｓ２８）、変換後の濃淡画像とテンプレート画像との間で再度相関値演算を行って、相関値Ｄを求める（Ｓ２９）。
【００５５】
そして、上記の処理が終了すると、判定手段４は、２つの相関値Ｃ、Ｄと所定のしきい値との高低を比較し、何れか一方の相関値Ｃ，Ｄがしきい値を超えると対象物が存在すると判断し、判断結果と、一致した入力画像が変換前のものか変換後のものかを示す入力画像情報情報を出力する（Ｓ３０）。なお判定手段４では、２つの相関値Ｃ，Ｄが両方ともにしきい値を超えた場合のみ対象物が存在すると判断しても良く、対象物の存否を確実に判定できる。
【００５６】
なお本実施形態では２回の相関値演算の結果から対象物の存否を判断しているが、相関値演算を１回のみとし、判定手段４が、テンプレート画像で判定用の入力濃淡画像を走査して相関値が最も高い相似領域を探索し、この相似領域でテンプレート画像に相当する大きさの画像を切り出して、切り出した画像を実施形態１で説明した方法で対称要素に対して略対称な濃淡画像に変換し、この濃淡画像とテンプレート画像とで相関値演算を行って、その演算結果に基づいて対象物の存否を判断するようにしても良い。
【００５７】
また本実施形態では、判定用の濃淡画像を、実施形態１で説明した方法により対称軸に対して略対称な画像に変換し、変換後の画像とテンプレート画像とで相関値演算を行っているが、実施形態２で説明した方法により対称軸に対して略対称な画像に変換しても良い。
【００５８】
（実施形態５）
本発明の実施形態５を図６に基づいて説明する。なお画像処理装置の基本的な構成は実施形態１と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。
【００５９】
実施形態３で説明したように、判定用の入力濃淡画像又はテンプレート画像がそれぞれ不均一な照明条件下で撮像された場合にテンプレートマッチングを行い、最大の相関値を用いて対象物の存否を判断すると、不均一な照明条件下で撮像された濃淡画像では対称軸に対する対称性が損なわれているために、相関値が低めにでる傾向があり、対象物が存在するにも関わらず、対象物が存在しないという誤った判断を行う可能性があった。
【００６０】
そこで本実施形態では、判定手段４が、テンプレート画像で判定用の入力濃淡画像を走査して相関値が最も高い第１相似領域を探索し、この第１相似領域で相関値を演算するとともに、この第１相似領域でテンプレート画像に相当する大きさの画像を切り出して、切り出した画像を実施形態１で説明した方法で変換した濃淡画像を得て、変換後の濃淡画像とテンプレート画像との相関値演算を行った後、テンプレート画像を実施形態１で説明した方法で変換し、変換後のテンプレート画像を用いて判定用の入力濃淡画像を走査して相関値が最も高い第２相似領域を探索し、この第２相似領域で相関値を演算するとともに、この第２相似領域で変更後のテンプレート画像に相当する大きさの画像を切り出して、切り出した画像を実施形態１で説明した方法で変換した濃淡画像を得て、変換後の濃淡画像と変更後のテンプレート画像との相関値演算を行っており、計４回の相関値演算の演算結果に基づいて対象物の存否を判断している。
【００６１】
ここで、判定手段４による判定処理を図６のフローチャートに基づいて説明する。まず判定手段４は、入力画像の初期位置（例えば、左上隅の位置）にテンプレート画像をおき（Ｓ３１）、テンプレート画像の各画素と、これに重なる入力画像（部分画像）の各画素との間で画素値（濃度値）の差分を求めるとともに、差分の絶対値を各画素毎の相関値ａとする。そして、部分画像中の全ての画素について相関値ａを求めたら、これらの相関値ａの総和を、部分画像に含まれる全ての画素数で除算したものを新たに相関値ｂと定義し、この位置での相関値ｂとして記憶する（Ｓ３２）。相関値ｂの演算が終了すると、判定手段４は、部分画像の端が入力画像における水平方向の端に一致しているか否か、すなわち、垂直方向における同一位置において水平方向の全ての画素についての上記判定処理が完了しているか否かを判断し（Ｓ３３）、一致していなければ、テンプレート画像を入力画像に対して水平方向に１画素分だけずらして新たな部分画像との間で上記判定処理を行う（Ｓ３４）。また、部分画像の端が入力画像における水平方向の端に一致している場合、判定手段４はその部分画像の端が入力画像における垂直方向の端に一致しているか否か、すなわち、水平方向における同一位置において垂直方向の全ての画素についての上記判定処理が完了しているか否かを判断し（Ｓ３５）、一致していなければ、テンプレート画像を入力画像に対して垂直方向に１画素分だけずらして新たな部分画像との間で上記判定処理を行う（Ｓ３６）。そして、部分画像の端が入力画像における垂直方向の端に一致している場合、判定手段４は、入力画像の全ての位置でテンプレート画像と部分画像との間で判定処理を終了したと判断し、全ての位置での相関値の内、最も大きな相関値Ｅとその時のテンプレート画像の位置とを記憶する（Ｓ３７）。
【００６２】
次に判定手段４は、相関値が最大の第１相似領域で入力画像からテンプレート画像に相当する大きさの画像を切り出して、切り出した画像を実施形態１で説明した方法で変換した濃淡画像を得て（Ｓ３８）、変換後の濃淡画像とテンプレート画像との間で相関値演算を行って、相関値Ｆを求める（Ｓ３９）。
【００６３】
そして上記の処理が終了すると、判定手段４は、実施形態１で説明した方法を用いてテンプレート画像を対称要素に対して略対称な画像に変換し、この画像を新たなテンプレート画像として（Ｓ４０）、上述したＳ３１〜Ｓ３６と同様の処理を行って、入力画像の全ての位置で変更後のテンプレート画像と部分画像との間の相関値を求め（Ｓ４１〜Ｓ４６）、全ての位置での相関値の内、最も大きな相関値Ｇとその時の新たなテンプレート画像の位置（第２相似領域）を記憶する（Ｓ４７）。
【００６４】
その後判定手段４は、相関値が最大となる第２相似領域で入力画像からテンプレート画像に相当する大きさの画像を切り出して、切り出した画像を実施形態１で説明した方法で変換した濃淡画像を得て（Ｓ４８）、変換後の濃淡画像とテンプレート画像との間で相関値演算を行って、相関値Ｈを求める（Ｓ４９）。
【００６５】
そして、以上４回の相関値演算が終了すると、判定手段４は、４つの相関値Ｅ〜Ｈと所定のしきい値との高低を比較し、何れか一つの相関値がしきい値を超えると対象物が存在すると判断し、判断結果と、一致した入力画像およびテンプレート画像が変換前のものか変換後のものかを示す入力画像情報およびテンプレート情報を出力する（Ｓ５０）。なお判定手段４では、４つの相関値Ｅ〜Ｈが全てしきい値を超えた場合のみ対象物が存在すると判断しても良く、対象物の存否を確実に判定できる。
【００６６】
なお本実施形態では、判定用の濃淡画像およびテンプレート画像を、実施形態１で説明した方法により対称軸に対して略対称な画像に変換し、変更前および変更後の濃淡画像について、それぞれ変更前および変更後のテンプレート画像との間で相関値演算を行っているが、判定用の濃淡画像およびテンプレート画像を実施形態２で説明した方法により対称軸に対して略対称な画像に変換しても良い。
【００６７】
また上述の各実施形態では判定対象の対象物が、対称軸に対して線対称な形状をしている人物の顔の場合について説明を行ったが、対象物の形状を対称軸に対して線対称な形状に限定する趣旨のものではなく、対象物の形状が対称の中心に対して点対称な形状である場合（例えば菱形状の対象物）にも、照明条件が不均一な場合には対象物の画像の一部分を、対称の中心に対して対称な位置まで回転させることで反転画像を作成し、この反転画像と反転前の画像とから対称の中心に対して略点対称な濃淡画像を作成し、この濃淡画像を用いて相関値演算を行うようにしても良い。
【図面の簡単な説明】
【００６８】
【図１】実施形態１の画像処理装置を示すブロック図である。
【図２】（ａ）（ｂ）は同上に用いる濃淡画像の説明図である。
【図３】（ａ）（ｂ）は実施形態２に用いる濃淡画像の説明図である。
【図４】実施形態３の画像処理装置の動作を説明するフローチャートである。
【図５】実施形態４の画像処理装置の動作を説明するフローチャートである。
【図６】実施形態５の画像処理装置の動作を説明するフローチャートである。
【図７】（ａ）（ｂ）は従来のパターンマッチングを説明する説明図である。
【図８】（ａ）は均一な照明条件下で撮像された濃淡画像の例図、（ｂ）は不均一な照明条件下で撮像された濃淡画像の例図である。
【符号の説明】
【００６９】
１  撮像手段
２  Ａ／Ｄ変換手段
３  保持手段
４  判定手段
【図１】
2005339389.tif 000004
【図４】
2005339389.tif 000005
【図５】
2005339389.tif 000006
【図６】
2005339389.tif 000007
【図７】
2005339389.tif 000008
【図２】
2005339389.tif 000009
【図３】
2005339389.tif 000010
【図８】
2005339389.tif 000011