(57)【要約】【課題】画像中の物体を検出する際、画像中における認識対象物を短時間で精度よく検出し、誤検出を防止することができるようにする。【解決手段】物体検出装置１は、テンプレート記憶手段１２および比較手段１３を備えている。比較手段１３では、テンプレート記憶手段には、認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンが記憶されている。比較手段１３は、テンプレートパターンと検出対象画像を階層的に縮小する際の特徴量の変化とを比較する。このときの比較に基づいて、画像中における認識対象物を検出する。【選択図】  図１
2004213134.tif 000002
【特許請求の範囲】
【請求項１】
認識対象物のテンプレートパターンと検出対象画像とを比較することによって、前記検出対象画像中における認識対象物を検出する画像中における物体検出方法において、
前記認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを予め記憶しておき、
前記検出画像中における所定単位領域の位置関係を維持しながら前記検出対象画像を階層的に縮小し、
前記テンプレートパターンと、前記検出対象画像を階層的に縮小する際の特徴量の変化とを比較することによって、前記検出対象画像中における認識対象物を検出することを特徴とする画像中における物体検出方法。
【請求項２】
前記検出対象画像を縮小する際、縮小前における縦方向および横方向の少なくとも一方に隣り合う複数の前記所定単位領域の特徴量を反映させて縮小後の所定単位領域を生成する請求項１に記載の画像中における物体検出方法。
【請求項３】
前記検出対象画像を縮小する際、縮小前における縦方向および横方向の少なくとも一方に所定単位量だけ離れた複数の前記所定単位領域の特徴量を反映させて縮小後の所定単位領域を生成する請求項１に記載の画像中における物体検出方法。
【請求項４】
前記検出対象画像を複数の階層に縮小したとき、前記複数の階層における同一系列上に複数の認識対象物が検出されたとき、前記複数の認識対象物における１以外の認識対象物は、存在しないものであると推定する請求項１〜請求項３のうちのいずれか１項に記載の画像中における物体検出方法。
【請求項５】
前記認識対象物の画像を縮小する際の特徴量の階層的な変化と、前記検出対象画像を階層的に縮小する際の特徴量の変化とが一致する確率を求め、
前記確率の基づいて、認識対象物であるか否かを推定する請求項１〜請求項３のうちのいずれか１項に記載の画像中における物体検出方法。
【請求項６】
前記検出対象物に対応するテンプレートパターンを複数設定する請求項１〜請求項５のうちのいずれか１項に記載の画像中における物体検出方法。
【請求項７】
認識対象物の領域内にある領域内認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを予め記憶しておき、
前記領域内認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを、前記認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターン内に設定する請求項６に記載の画像中における物体検出方法。
【請求項８】
認識対象物のテンプレートパターンと検出対象画像とを比較することによって、前記検出対象画像中における認識対象物を検出する画像中における物体検出装置において、
前記認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートを記憶するテンプレート記憶手段と、
前記検出画像中における所定単位領域の位置関係を維持しながら前記検出対象画像を階層的に縮小する画像縮小手段と、
前記テンプレートパターンと、前記検出対象画像を階層的に縮小する際の特徴量の変化とを比較することによって、前記検出対象画像中における認識対象物を検出する比較検出手段と、
を備えることを特徴とする画像中における物体検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像中における物体を検出する物体検出方法および物体検出装置に関する。
【０００２】
【従来の技術】
カメラなどで撮影した検出画像から、顔などの認識対象物を検出する方法として、従来、いわゆるパターンマッチングを行うものがあり、この検出方法の例として、特開２０００−２１３９２１号公報に開示された画像認識装置がある。この画像認識装置では、画像データと複数のリファレンスパターンとをパターンマッチングさせて、それらのマッチング率から認識対象物を認識するというものである。
【０００３】
【特許文献１】
特開２０００−２１３９２１号公報
【０００４】
【発明が解決しようとする課題】
ところで、上記特許文献１に開示された画像認識装置においてパターンマッチングを行う際には、検出しようとする認識対象物のテンプレートパターンと同じサイズの小領域を画像から切り出して照合を行う、いわゆる照合スキャンが行われる。この照合スキャンでは、まずある小領域を切り出して、照合を行った後、認識対象物が検出されなければ、切り出す小領域の位置を画像中で少しずらし、再度小領域を切り出して照合するというように、切り出し、照合を繰り返すものであった。このため、認識対象物を検出するための小領域の切り出し、照合を多くの回数繰り返す必要があるので、検出に長時間掛かるものであった。
【０００５】
また、上記の照合スキャンを行う際、テンプレートパターンの大きさと同じか同等の大きさの認識対象物しか検出することができない。このため、画像を多少拡大縮小して上記の照合スキャンを行うので、その分さらに時間が掛かるという問題があった。しかも、アルゴリズムの問題として、拡大縮小処理はそのロジックによって結果が異なることがあるので、拡大縮小処理を繰り返して行うと、画像が大きく乱れてしまうという問題もあった。
【０００６】
さらに、検出結果同士の間ではそれらの関係は考慮されていない。このため、たとえば認識対象物として検出された顔の中に、別の認識対象物である顔が誤って検出された場合でも、その誤検出に対応することができないという問題もあった。
【０００７】
そこで、本発明の課題は、画像中における認識対象物を短時間で精度よく検出することができるとともに、誤検出を防止することができる画像中における物体検出方法および装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決した本発明に係る画像中における物体検出方法は、認識対象物のテンプレートパターンと検出対象画像とを比較することによって、検出対象画像中における認識対象物を検出する画像中における物体検出方法において、認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを予め記憶しておき、検出画像中における所定単位領域の位置関係を維持しながら検出対象画像を階層的に縮小し、テンプレートパターンと、検出対象画像を階層的に縮小する際の特徴量の変化とを比較することによって、検出対象画像中における認識対象物を検出するものである。
【０００９】
本発明に係る画像中における物体検出方法では、認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを予め記憶しておき、検出画像中における所定単位領域の位置関係を維持しながら検出対象画像を階層的に縮小する。このときのテンプレートパターンと、検出対象画像を階層的に縮小する際の特徴量の変化とを比較することによって、検出対象画像中における認識対象物を検出している。このため、テンプレートパターンとの間に大きさの相違があったとしても、検出対象画像を縮小する段階で、テンプレートパターンと一致する大きさとなることがあるので、小領域の切り出し、照合を繰り返す必要はなくなる。しかも、画像の縮小は１回で済む。したがって、検出対象画像中における認識対象物を短時間で検出することができる。
【００１０】
ここで、検出対象画像を縮小する際、縮小前における縦方向および横方向の少なくとも一方に隣り合う複数の所定単位領域の特徴量を反映させて縮小後の所定単位領域を生成するのが好適である。
【００１１】
このように、隣り合う複数の所定単位領域の特徴量を反映させて縮小後の所定単位領域を生成するので、その分精度よく認識対象物を検出することができる。
【００１２】
あるいは、検出対象画像を縮小する際、縮小前における縦方向および横方向の少なくとも一方に所定単位量だけ離れた複数の所定単位領域の特徴量を反映させて縮小後の所定単位領域を生成する態様とするのが好適である。
【００１３】
このように、縮小前における縦方向および横方向の少なくとも一方に所定単位量だけ離れた複数の所定単位領域の特徴量を反映させて縮小後の所定単位領域を生成することにより、精度よく認識対象物を検出することができる。しかも、縮小前における所定単位領域の特徴量を多大に反映させるものではないので、計算負荷の増大を防止することができ、その分処理時間の短縮を図ることができる。
【００１４】
さらに、検出対象画像を複数の階層に縮小したとき、検出対象画像中における認識対象物が検出されたとき、認識対象物が検出された所定単位領域の上層階層には、認識対象物が存在しないものと推定するのが好適である。
【００１５】
検出対象画像を複数の階層に縮小したとき、同一系列上には複数の認識対象物が存在することはない。この点に着目し、複数の認識対象物が検出された際には、その１以外の認識対象物は存在しないものと推定する。このような推定を行うことにより、さらに精度よく認識対象物の検出を行うことができる。
【００１６】
また、認識対象物の画像を縮小する際の特徴量の階層的な変化と、検出対象画像を階層的に縮小する際の特徴量の変化とが一致する確率を求め、確率の基づいて、認識対象物であるか否かを推定する態様とすることもできる。
【００１７】
このように、認識対象物の画像を縮小する際の特徴量の階層的な変化と、検出対象画像を階層的に縮小する際の特徴量の変化とが一致する確率に基づいて認識対象物であるか否かを判断することにより、さらに精度よく認識対象物を検出することができる。
【００１８】
さらには、検出対象物に対応するテンプレートパターンを複数設定する態様とすることができる。
【００１９】
検出対象物に対応するテンプレートパターンを複数設定することにより、特徴量がわずかに異なるような認識対象物をも好適に検出することができるので、さらに精度よく認識対象物を検出することができる。
【００２０】
また、認識対象物の領域内にある領域内認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを予め記憶しておき、領域内認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを、認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターン内に設定する態様とするのが好適である。
【００２１】
このように、認識対象物の領域内になる領域内認識対象物に対するテンプレートを設定することにより、誤検出をさらに減少させることができ、その分精度欲認識対象物および領域内認識対象物を検出することができる。
【００２２】
なお、領域内認識対象物とは、認識対象物との関係において、通常認識対象物の内側にあるものをいう。具体的には、認識対象物が顔である場合の領域内認識対象物としての目、鼻、口であり、認識対象物が建築物である場合の領域内認識対象物としての窓、戸などである。
【００２３】
他方、上記課題を解決した本発明に係る画像中における物体検出装置は、認識対象物のテンプレートパターンと検出対象画像とを比較することによって、検出対象画像中における認識対象物を検出する画像中における物体検出装置において、認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを記憶するテンプレート記憶手段と、検出画像中における所定単位領域の位置関係を維持しながら検出対象画像を階層的に縮小する画像縮小手段と、テンプレートパターンと、検出対象画像を階層的に縮小する際の特徴量の変化とを比較することによって、検出対象画像中における認識対象物を検出する比較検出手段と、を備えるものである。
【００２４】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【００２５】
図１は、本実施形態に係る画像中における物体検出装置のブロック構成図である。図１に示すように、本実施形態に係る物体検出装置１は、カメラ２およびモニタ３に接続されている。物体検出装置１は、入力手段１１、テンプレート記憶手段１２、および比較手段１３を備えている。
【００２６】
入力手段１１は、カメラ２に接続されており、カメラ２で撮影された画像の画像信号が出力される。入力手段１１では、カメラ２から出力された画像信号に所定の入力処理を施して画像データ信号を生成し、比較手段１３に出力する。また、テンプレート記憶手段には、認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンが予め記憶されている。その変化は、認識対象物ごとに輝度、色彩、明度などの変化として定められている。たとえば認識対象物が顔であれば、肌色の領域が画像の縮小とともに縮小していくように変化する。
【００２７】
テンプレート記憶手段１２は比較手段１３に接続されている。比較手段１３は、本発明の画像縮小手段と比較判断手段を備えるものであり、入力手段１１から出力される画像データ信号によって表される検出対象画像を階層的に縮小する処理を行う。画像を縮小する際には、画像中における画素の位置関係を維持しながら検出対象画像を縮小するようにする。また、比較手段１３は、検出対象画像を縮小する際の特徴量の変化と、テンプレート記憶手段１２から出力される認識対象物の階層的な変化とを比較する。そして、両者の変化を比較し、一致度に応じて認識対象物であるか否かを判断する。
【００２８】
さらに、比較手段１３は、物体検出装置１の外部に設けられたモニタ３に接続されており、検出結果をモニタ３に出力する。なお、モニタ３に出力する態様に限らず、たとえばロボットにおける物体認識装置として用いて、そのまま各種処理に利用する態様としてもよい。
【００２９】
以上の構成を有する本実施形態に係る物体認識装置における処理について説明する。本実施形態における物体認識では、比較手段１３で行われる認識対象物の画像を縮小する際の特徴量の階層的な変化と、検出対象画像を階層的に縮小する際の特徴量の変化とを比較が特徴的であるので、その点について主に説明する。
【００３０】
まず、検出対象画像を階層的に縮小する点について説明する。図２（ａ）に示すように、画像Ｐ１があったとすると、これを順次画像Ｐ２、画像Ｐ３へと階層的に縮小していく。このような画像の縮小を行う際には、図２（ｂ）に示すように、縮小前の縦方向および横方向の少なくとも一方に隣り合う所定単位領域、本実施形態では画素が特徴を反映させて所定単位領域を生成する。この点について、模式的に具体的に説明すると、まず４行４列の画素を有する画像Ｐ１１があったとすると、この画像を３行３列の画像Ｐ１２にする。そのために、１行１列目の画素Ｃ１１１、画素Ｃ１１１に横方向に隣り合う１行２列目の画素Ｃ１１２、画素Ｃ１１１に縦方向に隣り合う２行１列目の画素Ｃ１２１、および画素Ｃ１１２に縦方向、画素Ｃ１２１に横方向に隣り合う２行２列目の画素Ｃ１２２からなる４つの画素の特徴量を反映させて、縮小された画像Ｐ１２の１行１列目の画素Ｃ２１１を生成する。４つ画素Ｃ１１１，Ｃ１１２，Ｃ１２１，Ｃ１２２の特徴量を反映させるためには、たとえばそれぞれの画素が有する輝度、色相、明度をそれぞれ平均し、得られた特徴量を画素Ｃ２１１の特徴量とすることができる。
【００３１】
同様に、縮小後の画像Ｐ１２における１行２列目の画素Ｃ２１２は、縮小前の画像Ｐ１１における１行２列目の画素Ｃ１１２、１行３列目の画素Ｃ１１３、２行２列目の画素Ｃ１２２、２行３列目の画素Ｃ１２３の特徴量を反映させて生成する。ここで、縮小後の画像Ｐ１２における横方向に並ぶ１行１列目の画素Ｃ２１１および１行２列目の画素Ｃ２１２には、それぞれ縮小前の画像Ｐ１１における１行２列目の画素Ｃ１１２および２行２列目の画素Ｃ１２２の特徴量が反映されている。さらに同様にして、縮小前の画像Ｐ１１における画素Ｃ１１３，Ｃ１１４，Ｃ１２３，Ｃ１２４の特徴量を反映させて、縮小後の画像Ｐ１２の画素Ｃ１１３を生成する。
【００３２】
続いて、縮小後の画像Ｐ１２における２行１列目の画像Ｃ２２１は、縮小前の画像Ｐ１１における２行１列目の画素Ｃ１２１、２行２列目の画素Ｃ１２２、３行１列目の画素Ｃ１３１、３行２列目の画素Ｃ１３２の特徴量を反映させて生成する。ここで、縮小後の画像Ｐ１２における縦方向に並ぶ１行１列目の画素Ｃ２１１および２行１列目の画素Ｃ２２１には、それぞれ縮小前の画像Ｐ１１における２行１列目の画素Ｃ１２１および２行２列目の画素Ｃ１２２の特徴量が反映されている。以後、同様に縮小後の画像Ｐ１２の各画素を生成する。
【００３３】
こうして、縮小後の３行３列からなる画像Ｐ１２を生成したら、この縮小後の画像Ｐ１２を縮小前の画像とし、縮小後の２行２列の画像Ｐ１３を生成する。縮小後の画像Ｐ１３を生成する際には、画像Ｐ１１から画像Ｐ１２を生成した場合と同様にして、画像Ｐ１２における各画素の特徴量を反映させて、縮小後の各画素を生成する。その後、２行２列の画像Ｐ１３から１行１列の画像Ｐ１４を生成する。
【００３４】
ここで、本実施形態に係る物体検出装置において画像を縮小させる際には、縮小前における縦横方向に隣り合う複数の画素の特徴量を反映させて、縮小後の画素を生成するとともに、縮小前における複数の画素の特徴量を、縮小後における画素に重畳して反映させている。重畳して反映させる態様としては、単に画素同士を重ね合わせ、複数の画素におけるそれぞれの特徴量の平均値をとって、縮小後の画素の特徴量とする。
【００３５】
いま、従来の画像の縮小について図３を用いて説明すると、図３（ａ）に示す２層目の階層Ｚ２における２行１列〜３列の画素にそれぞれマークＭ１〜Ｍ３があったとする。ここから４つの画素から１つの画素を生成して画面を縮小していき、階層Ｚ２の画像を階層Ｚ０の画像としたとする。この場合、図３（ｂ）に示すように、マークＭ１〜Ｍ３の深さを求めてみると、マークＭ１，Ｍ２は、２層目の階層Ｚ２における画素ＣＺ２に確認され、マークＭ３は３層目の階層Ｚ３における画素ＣＺ３に確認される。このように、実際は２層目の階層Ｚ２における画素ＣＺ３におけるマークＭ３が、３層目の階層Ｚ３おける画素ＣＺ３にあることになる。このことから、ある画素間では、階層の深さが一定しないことになることがわかる。
【００３６】
これに対して、本実施形態に係る画像の縮小について、図４を用いて説明すると、図４（ａ）に示す３層目の階層Ｚ３における２行１列から３列の画素にそれぞれマークＭ１〜Ｍ３があったとする。このとき、本実施形態のように、隣り合う画素の特徴量を反映させて階層Ｚ３の画像を階層的に縮小し、階層Ｚ０の画像としたとする。この画像の縮小について、図４（ｂ）に示すように、マークＭ１〜Ｍ３の階層深さを求めてみると、０層目の階層Ｚ０における画素ＣＺ０から順次画素ＣＺ１，ＣＺ２を経て、３層目の階層Ｚ３における画素ＣＺ３に至る。この３層目の階層Ｚ３における画素ＣＺ３に、それぞれのマークＭ１〜Ｍ３が確認される。このように、重ね合わせる画素を１画素ごとにずらしながら、画面を縮小することにより、画素間の階層の深さを一定にすることができる。
【００３７】
なお、画像を縮小する際には、図５に示すように、縮小前における縦横方向に１画素だけ離れた複数の画素の特徴量を反映させて縮小後の画素を生成する態様とすることもできる。この態様では、図５（ａ）に示すように、２層目の階層Ｚ２における１行１列目、１行３列目、および３行３列目にそれぞれマークＭ１〜Ｍ３があったとする。このとき、１画素離れた４つの画素の特徴量を反映させるべく、画像における画素を１画素ごとにずらしながら重なるように、階層構造を生成していく。たとえば２層目の階層Ｚ２における１行１列、１行３列、３行１列、および３行３列の画素を重ね合わせて、１層目の階層Ｚ１における１行１列目の画素を生成する。次に、２層目の階層Ｚ２における１行２列、１行４列、３行２列、および３行４列の画素を重ね合わせて、１層目の階層Ｚ１における１行２列の画素を生成する。さらに、２層目の階層Ｚ２における２行１列、２行３列、４行１列、および４行３列の画素を重ね合わせて、１層目の階層Ｚ１における２行２列の画素を生成し、２層目の階層Ｚ２における２行２列、２行４列、４行２列、および４行４列の画素を重ね合わせて、１層目の階層Ｚ１における２行２列の画素を生成する。同様にして階層Ｚ０画像を生成したとする。
【００３８】
この画像の縮小について、図５（ｂ）に示すように、マークＭ１〜Ｍ３の階層深さを求めてみると、３層目の階層Ｚ３における画素ＣＺ３にそれぞれマークＭ１〜Ｍ３が確認される。このように、重ね合わせる画素を１画素ごとにずらしながら、画面を縮小することにより、画素間の階層の深さを一定にすることができる。このように、縮小前における縦横方向に１画素だけ離れた複数の画素の特徴量を反映させて縮小後の画素を生成することにより、画素間の階層深さはほぼ同じになるとともに、簡素な階層構造とすることができる。
【００３９】
続いて、縮小した画像とテンプレートとの比較の第１の態様について説明する。図６（ａ）は、第１の態様に係る画像を縮小する際の階層構造を示す図、（ｂ）は、第１の態様に係る認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを示す図である。図６（ａ）では、階層構造をピラミッド構造で示しており、いまだ縮小されていない画像を第１階層Ｌ１で示し、図２に示す要領で縮小した画像を第２階層Ｌ２として第１階層Ｌ１の上段に示している。続いて、第２階層Ｌ２を縮小した画像を第３階層Ｌ３として第２階層Ｌ２の上段に示し、以後、順次第ｎ階層Ｌｎを縮小した画像を第ｎ＋１階層Ｌｎ＋１として第ｎ階層Ｌｎの上段に示している。なお、図７〜図９に示す他の態様においても同様の表示を行う。
【００４０】
また、図６（ｂ）に示す特徴量の階層的な変化としては、第ｐ階層Ｌｐから第Ｐ＋１階層Ｌｐ＋１までにおける特徴量の変化量のテンプレートＴ１を太線の三角形で示している。具体的には、認識対象物が顔である場合、特徴量の変化量Ｆ１は、画像の縮小に伴い、画像中で肌色が占めるの変化が、所定の面積収縮を起こしているときを表すものである。画像中でこのテンプレートＴ１に対応する変化を起こしている領域に、顔があると判断する。テンプレートＴ１は照合用の階層構造をなしており、テンプレートＴ１の階層構造を図６（ａ）に示す画像を縮小した階層構造に照合することにより、認識対象物を検出することができる。
【００４１】
このテンプレートＴ１の照合および認識対象物の検出について、図６（ａ）に示す階層構造を参照して説明すると、第１階層Ｌ１から第２階層Ｌ２の間に、テンプレートＴ１に対応する特徴量の変化量Ｆ１が検出されている。また、第２階層Ｌ２から第３階層Ｌ３の間にテンプレートＴ１に対応する２つの特徴量の変化量Ｆ２，Ｆ３が検出されている。さらに、第５階層Ｌ５から第６階層Ｌ６の間にテンプレートＴ１に対応する特徴量の変化量Ｆ４が検出されている。こうしてテンプレートＴ１に対応する特徴量の変化量が検出された位置に、認識対象物である顔があると判断することができる。
【００４２】
このように、認識対象物を縮小する際の特徴量の階層的な変化を示すテンプレートに対応する画像を縮小させる際の特徴量の階層的な変化量を検出することにより、画像を１回縮小させるだけで認識対象物を検出することができる。したがって、多くの小領域を切り出したり、原画像の伸縮を繰り返したりをすることないので、テンプレートマッチングによる認識対象物の検出を短時間で行うことができる。
【００４３】
また、画像の縮小を行う際に、縮小していった先にさらに認識対象物が検出されてしまうことが考えられる。図６（ａ）に示す例でいえば、特徴量の変化量Ｆ２，Ｆ３が検出された後、さらに画像の縮小を進めていくうちに、特徴量の変化量Ｆ２，Ｆ３の上段の層で同系列上にある特徴量の変化量Ｆ４が検出される。このように、一旦認識対象物が検出された上段でさらに認識対象物が検出されるということは、認識対象物が重畳していることになり、実際にはありえないことであるので、下側の層で検出された特徴量の変化量Ｆ２，Ｆ３は、実際には認識対象物を表すものではなく、誤検出であったことがわかる。
【００４４】
このように、画像を縮小する際の階層的な変化を利用して認識対象物を検出する際、同系列上に重ねて特徴量の変化量があることはないことを利用することにより、認識対象物の検出精度を向上させることができる。
【００４５】
次に、縮小した画像とテンプレートとの比較の第２の態様について説明する。図７（ａ）は、第２の態様に係る画像を縮小する際の階層構造を示す図、（ｂ）は、第２の態様に係る認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを示す図である。
【００４６】
図７（ｂ）に示すように、テンプレートＴ２は、上記第１の態様と同様に照合用の階層構造をなしているが、本実施形態では、図７（ａ）に示す画像を縮小した階層構造における同一系列を特徴量としてテンプレートＴ２を照合させる。テンプレートＴ２は、図７（ｂ）に破線で示すように、２階層に渡る左下がりの第１部分プレートＴ２１、２階層に渡る右下がりの第２部分プレートＴ２２、１階層における左下がりの第３部分プレートＴ２３、および１階層における右下がりの第４部分プレートＴ２４によって構成されている。そして、これらの部分プレートＴ２１〜Ｔ２４を、図７（ａ）に示す階層構造の同一系列内で照合して、認識対象物として検出するというものである。
【００４７】
そのテンプレートＴ２の照合および認識対象物の検出について、図７（ａ）に示す階層構造を参照して説明すると、領域Ｄ１に相当する画素の系列に、第２階層Ｌ２から第３階層Ｌ３の間に、テンプレートＴ２における第１部分プレートＴ２１、第２部分プレートＴ２２の一部、および第３部分プレートＴ２３と一致する特徴量が検出される。このとき、テンプレートＴ２と比較して、階層構造内に検出されていない部分は、第２部分プレートＴ２２の一部と第４部分プレートＴ２４ということになる。このまま、階層構造を上層に上がっていくと、第５階層Ｌ５から第６階層Ｌ６にかけて第２部分プレートＴ２２に相当する特徴量が検出される。こうして、同一系列内にテンプレートＴ２における各部分プレートＴ２１〜Ｔ２４に相当する特徴量が検出されることにより、この系列の基点となる領域Ｄ１に含まれる画素に、認識対象物の存在を検出することができる。
【００４８】
また、領域Ｄ２に相当する画素の系列には、第２階層Ｌ２から第３階層Ｌ３の間に第１部分プレートＴ２１に相当する特徴量が検出され、第３階層Ｌ３から第４階層Ｌ４の間に第２部分プレートＴ２２に相当する特徴量が検出される。さらに、第３階層Ｌ３には第４部分プレートＴ２４に相当する特徴量が検出される。ここで、領域Ｄ２には認識対象物の存在を検出することができることになるが、領域Ｄ１と領域Ｄ２は一部で重複している。画像内に認識対象物が重複していることはないので、領域Ｄ１で検出された認識対象物および領域Ｄ２で検出された認識対象物のうちの一方が誤認識であると判断することができる。
【００４９】
このように、同一系統内でテンプレートの部分がそれぞれ検出された場合には、認識対象物であるとして検出することができるとともに、それらが重複する場合には、そのうちの１以外は誤検出であり、存在しないものと推定して判断することができる。複数の認識対象物から誤検出を判断する際には、検出された複数の認識対象物のうち、テンプレートとの一致度度合いが一番高いものを正しく検出したものと判断することができる。あるいは、同一系列内であっても、近い位置に部分プレートに対応する特徴が集まっている場合であるとか、上層側に特徴が多いなどの場合に、正しく検出された認識対象物と判断することができる。
【００５０】
ところで、この実施形態において、テンプレートＴ２に対して、部分プレートＴ２１〜Ｔ２４のすべてが検出されていない場合であっても認識対象物として検出している。このように、認識対象物として検出する際にテンプレートに対して完全に一致する必要はなく、たとえばテンプレートの６５％をしきい値として、６５％以上の一致度がある場合に、認識対象物として検出する態様とすることができる。近い階層に部分プレートが集まっている場合には、しきい値を下回った場合でも、認識対象物として検出するようにすることなどもできる。もちろん、このしきい値は適宜設定することができる。このようにして認識対象物を検出することにより、たとえば遮蔽等によって一部の照合ができなかった場合であっても、構造が欠けたものとして認識対象物を検出することができる。
【００５１】
続いて、縮小した画像とテンプレートとの比較の第３の態様について説明する。図８（ａ）は、第３の態様に係る画像を縮小する際の階層構造を示す図、（ｂ）は、第３の態様に係る認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを示す図である。
【００５２】
この態様では、図８（ｂ）に示すように、テンプレートＴ３は、上記各態様と同様に照合用の階層構造をなしている。また、上記第２の態様と同様に、２階層に渡る左下がりの第１部分プレートＴ３１、２階層に渡る右下がりの第２部分プレートＴ３２、１階層における左下がりの第３部分プレートＴ３３、および１階層における右下がりの第４部分プレートＴ３４によって構成されている。そして、これらの部分プレートＴ３１〜Ｔ３４を、図８（ａ）に示す階層構造の同一系列内で照合して、認識対象物として検出する。本態様では、このときに、画像中における各画素での検出物体確率を求め、この検出物体確率に基づいて認識対象物の検出を行う。ここでいう検出物体確率とは、各画素における同一系列において、テンプレートＴ３における部分プレートのいずれかと一致している割合を示す確率をいう。
【００５３】
以下、テンプレートＴ３の照合および認識対象物の検出について、図８（ａ）に示す階層構造を参照して説明すると、図７（ａ）に示す階層と同一の位置に部分プレートＴ３１〜Ｔ３４に対応する特徴量が検出される。このとき、本態様では、画像中における画素の系列内における検出物体確率を求める。図８（ａ）に示す例では、画素Ｃ２，Ｃ３，Ｃ５における検出物体確率が高くなっている。このことから、領域Ｄ１における画素Ｃ１〜Ｃ７内に認識対象物があり、領域Ｄ２における画素Ｃ５〜Ｃ１０で検出された認識対象物は、誤検出によるものと判断することができる。このように、検出物体確率を利用することにより、高い精度で認識対象物を検出することができる。しかも、検出確率を算出する際、入力画像中におけるテンプレートパターン以下の画像サイズのものに対しても、検出確率を計算できるようになる。
【００５４】
さらに、縮小した画像とテンプレートとの比較の第４の態様について説明する。図９（ａ）は、第４の態様に係る画像を縮小する際の階層構造を示す図、（ｂ）は、第４の態様に係る認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを示す図である。
【００５５】
この態様では、図９（ｂ）に示すように、第１テンプレートＴ４および第２テンプレートＴ５を備えている。第１テンプレートＴ４は、上記各態様と同様に照合用の階層構造をなしている。また、上記第３の態様と同様に、２階層に渡る左下がりの第１部分プレートＴ４１、２階層に渡る右下がりの第２部分プレートＴ４２、１階層における左下がりの第３部分プレートＴ４３、および１階層における右下がりの第４部分プレートＴ４４によって構成されている。さらに、第２テンプレートＴ５は、第１テンプレートと同様の第１〜第４部分プレートＴ５１〜Ｔ５４を備えている。これらの２つのテンプレートＴ４，Ｔ５は、いずれも同一の認識対象物の特徴量に対応するものであるが、その特徴量の種類が異なるものである。たとえば、認識対象物が顔である場合、第１テンプレートＴ４は色彩の変化を示すものであり、第２テンプレートＴ５は輝度の変化を示すものとして設定する。
【００５６】
次に、本態様に係るテンプレートＴ４，Ｔ５の照合および認識対象物と領域内認識対象物の検出について、図９（ａ）に示す階層構造を参照して説明する。図９（ａ）に示すように、図７（ａ）に示す階層と同一の位置に、第１テンプレートＴ４の部分プレートＴ４１〜Ｔ４４に対応する特徴量が検出される。また、第２階層Ｌ２〜第３階層Ｌ３に渡って第２テンプレートＴ５の第２部分プレートＴ５２に相当する特徴量が検出される。さらに、第５階層Ｌ５には、第４部分プレートＴ５４に相当する特徴量が検出される。
【００５７】
このようにして、第１テンプレートＴ４および第２テンプレートＴ５のそれぞれに相当する特徴量を検出して、これらを上記第３の実施形態と同様にして検出物体確率としてまとめる。この物体検出確率に基づいて、認識対象物を検出することにより、高い精度で認識対象物を検出することができる。しかも、複数のテンプレートを用いていることにより、その分さらに高い精度で認識対象物を検出することができる。
【００５８】
なお、本態様では、複数のテンプレートを設定する際に異なる種類の特徴量を設定しているが、複数のテンプレートに対して同一の種類の特徴量を設定する態様とすることもできる。この場合には、同一の種類の特徴量であっても、その規定値を少しずらして設定することになる。
【００５９】
また、本態様では、同一の認識対象物に複数のテンプレートを設定する例について説明したが、同一の認識対象物ではなく、認識対象物と領域内認識対象物に対して、それぞれテンプレートを設定する態様とすることもできる。この場合の領域内認識対象物は、認識対象物の領域内に通常存在する対象物であり、たとえば認識対象物が顔である場合には、領域内認識対象物は口、目、耳、鼻などであるという関係にある。そして、たとえば領域内認識対象物が認識対象物にあると判断された場合に、認識対象物と判断するなどとすることにより、さらに精度よく認識対象物を検出することができる。
【００６０】
【発明の効果】
以上のとおり、本発明によれば、画像中における認識対象物を短時間で精度よく検出することができるとともに、誤検出を防止することができる画像中における物体検出方法および装置を提供することができる。
【図面の簡単な説明】
【図１】画像中における物体検出装置のブロック構成図である。
【図２】（ａ）は、縮小する画像の状態を示す図、（ｂ）は、画像を縮小する態様を画素単位で示す図である。
【図３】（ａ）は、従来における画像を縮小する態様を画素単位で示す図、（ｂ）はその階層深さを説明するための図である。
【図４】（ａ）は、本実施形態に係る画像を縮小する態様を画素単位で示す図、（ｂ）はその階層深さを説明するための図である。
【図５】（ａ）は、本実施形態の他の態様に係る画像を縮小する態様を画素単位で示す図、（ｂ）はその階層深さを説明するための図である。
【図６】（ａ）は、第１の態様に係る画像を縮小する際の階層構造を示す図、（ｂ）は、第１の態様に係る認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを示す図である。
【図７】（ａ）は、第２の態様に係る画像を縮小する際の階層構造を示す図、（ｂ）は、第２の態様に係る認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを示す図である。
【図８】（ａ）は、第３の態様に係る画像を縮小する際の階層構造を示す図、（ｂ）は、第３の態様に係る認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを示す図である。
【図９】（ａ）は、第４の態様に係る画像を縮小する際の階層構造を示す図、（ｂ）は、第４の態様に係る認識対象物の画像を縮小する際の特徴量の階層的な変化を示すテンプレートパターンを示す図である。
【符号の説明】
１…物体検出装置、２…カメラ、３…モニタ、１１…入力手段、１２…テンプレート記憶手段、１３…比較手段、Ｃ１〜Ｃ１０、ＣＺ０〜ＣＺ３…画素、Ｆ１〜Ｆ４…変化量、Ｌ１…第１階層、Ｌ２…第２階層、Ｌ３…第３階層、Ｌ４…第４階層、Ｌ５…第５階層、Ｌ６…第６階層、Ｌｎ…第ｎ階層、Ｌｐ…第ｐ階層、Ｍ１〜Ｍ３…マーク、Ｐ１〜Ｐ３，Ｐ１１〜Ｐ１４…画像、Ｔ１〜Ｔ５…テンプレート、Ｚ０〜Ｚ３…階層。
【図１】
2004213134.tif 000003
【図２】
2004213134.tif 000004
【図３】
2004213134.tif 000005
【図４】
2004213134.tif 000006
【図５】
2004213134.tif 000007
【図６】
2004213134.tif 000008
【図７】
2004213134.tif 000009
【図８】
2004213134.tif 000010
【図９】
2004213134.tif 000011