(57)【要約】【課題】逐次入力される画像から、高い信頼性の下に検出対象物を高速に検出することができる対象物検出方法を提供する。【解決手段】入力画像を二値化し、それに対して、テンプレートを用いて第一の検出演算を行い（ステップＳ１０００）、検出されたと判断された場合（ステップＳ１００１）には、検出結果として出力し、検出されないと判断された場合には、二値化画像の全てに対して、複数のシルエットテンプレートとの一致度を算出して第二の検出演算を行い（ステップＳ１００２）、その最大値をもって検出の成否を判断し（ステップＳ１００３）、検出されたと判断された場合には、第一の検出演算のためのテンプレートをテンプレートリストに追加し（ステップＳ１００４）、検出されないと判断された場合には、前記入力画像に対する処理を終了し、次の入力画像に対する処理を開始する。【選択図】図１
2008134940.tif 000002
【特許請求の範囲】
【請求項１】
画像入力手段により逐次入力される画像から、所定形状の検出対象物を検出する対象物検出装置において、
予め対象物を撮像して得られた画像情報を基に作成され、輝度と色合いを二値に変換する複数の変換テーブルのうち、使用頻度の高い一つの変換テーブルを用いて、前記入力画像から二値画像を作成し、該二値画像と、予め設定された形状の検出対象物を含む部分輝度画像および背景を除外するためのマスク画像を有した第１のテンプレートとの一致度を演算し、一致度が最大となる画像を検出対象物画像として出力する第１の検出演算手段と、
前記複数の変換テーブルの全ての変換テーブルを用いて、前記入力画像から複数の二値画像を作成し、該複数の二値画像と、予め作成された様々な位置および姿勢に対応する第２のテンプレートとの一致度を各々演算し、一致度が最大となる画像を検出対象物画像として出力する第２の検出演算手段と、
前記第２の検出演算手段で検出された検出対象物画像を含む対象物領域に対応する画像を、前記入力画像および二値画像から切り出して前記第１のテンプレートを作成するテンプレート作成手段とを備えたことを特徴とする対象物検出装置。
【請求項２】
前記第１の検出演算手段は、前記二値画像と第１のテンプレートとの一致度を演算する際に、前記二値画像から検出対象物を含む検出対象領域画像を切り出し、該検出対象領域画像に対して前記第１のテンプレートのマスク画像と同一サイズの検出演算対象領域を設定し、該設定された領域の画像を前記検出対象領域画像から切り出し、該切り出された検出演算対象画像と前記第１のテンプレートとの一致度を演算することを特徴とする請求項１に記載の対象物検出装置。
【請求項３】
前記検出対象物は手指であることを特徴とする請求項１又は２に記載の対象物検出装置。
【請求項４】
画像入力手段により逐次入力される画像から、所定形状の検出対象物を検出する対象物検出方法において、
第１の検出演算手段が、予め対象物を撮像して得られた画像情報を基に作成され、輝度と色合いを二値に変換する複数の変換テーブルのうち、使用頻度の高い一つの変換テーブルを用いて、前記入力画像から二値画像を作成する第１の二値画像作成ステップと、
第１の検出演算手段が、前記作成された二値画像と、予め設定された形状の検出対象物を含む部分輝度画像および背景を除外するためのマスク画像を有した第１のテンプレートとの一致度を演算して検出対象物画像の検出を行う第１の検出演算ステップと、
第１の検出演算手段が、前記第１の検出演算ステップにより検出対象物画像が検出されたと判断されたときに、当該検出対象物画像の検出位置および対応する第１のテンプレートのインデックスを出力する第１の出力ステップと、
第２の検出演算手段が、前記第１の検出演算ステップにより検出対象物画像が検出されないと判断されたときに、複数の二値画像を作成する第２の二値画像作成ステップと、
第２の検出演算手段が、前記作成された複数の二値画像と、予め作成された様々な位置および姿勢に対応する第２のテンプレートとの一致度を各々演算して検出対象物画像の検出を行う第２の検出演算ステップと、
テンプレート作成手段が、前記第２の検出演算ステップで検出された検出対象物画像を含む対象物領域に対応する画像を、前記入力画像および二値画像から切り出してテンプレートを作成し、前記第１のテンプレートリストに追加するテンプレート作成ステップと、
第２の検出演算手段が、前記第２の検出演算ステップにより検出対象物画像が検出されたと判断されたときに、当該検出対象物画像を出力する第２の出力ステップと
を備えたことを特徴とする対象物検出方法。
【請求項５】
前記第１の検出演算ステップは、
前記二値画像から検出対象物を含む検出対象領域画像を切り出すステップと、
前記切り出された検出対象物領域画像に対して前記第１のテンプレートのマスク画像と同一サイズの検出演算対象領域を設定するステップと、
前記設定された領域の画像を前記検出対象領域画像から切り出すステップと、
前記切り出された検出演算対象画像と前記第１のテンプレートとの一致度を演算するステップと
を備えたことを特徴とする請求項４に記載の対象物検出方法。
【請求項６】
前記検出対象物は手指であることを特徴とする請求項４又は５に記載の対象物検出方法。
【請求項７】
請求項４ないし６のいずれかに記載の対象物検出方法の各ステップをコンピュータに実行させるためのプログラムとしたことを特徴とする対象物検出プログラム。
【請求項８】
請求項７に記載のプログラムを当該コピュータが読み取りできる記録媒体に記録したことを特徴とする対象物検出プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出対象物を撮像した画像から、検出対象物と同様の色合いの他物体が映りこんでいる場合でも、高い信頼度で対象物を検出する対象物検出装置、対象物検出方法および対象物検出プログラム並びにそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、入力画像から検出対象物を検出する方法としては、例えば下記非特許文献１に記載の自己組織化マップを用いる方法があった。この非特許文献１に示される自己組織化マップを用いる方法では、ブルーバックのような均一背景ではない複数な背景を有するシーンからの手指もしくは顔の切り出しをリアルタイムで実現している。
【非特許文献１】Ｙｉｎｇ  Ｗｕ，Ｑｉｏｎｇ  Ｌｉｕ，Ｔｈｏｍａｓ  Ｓ．Ｈｕａｎｇ，“Ｒｏｂｕｓｔ  Ｒｅａｌ−ｔｉｍｅ  Ｈｕｍａｎ  Ｈａｎｄ  Ｌｏｃａｌｉｚａｔｉｏｎ  ｂｙ  Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ  Ｃｏｌｏｒ  Ｓｅｇｍｅｎｔａｔｉｏｎ”Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，Ａｎａｌｙｓｉｓ，ａｎｄ  Ｔｒａｃｋｉｎｇ  ｏｆ  Ｆａｃｅｓ  ａｎｄ  Ｇｅｓｔｕｒｅｓ  ｉｎ  Ｒｅａｌ−Ｔｉｍｅ  Ｓｙｓｔｅｍｓ，ｐ．１６１，Ｓｅｐｔｅｍｂｅｒ  ２６−２７，１９９９
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、非特許文献１の方法では、色情報に基づき領域を適切に分割する手法をベースとしているため、例えば、図６の３００２に示す入力画像のように、手指領域の背景に他の身体パーツがある場合には、同図３００３の二値画像のように、手指領域だけを正確に切り出すことが原理的に不可能であるため、手指を検出ができない、という問題がある。
【０００４】
本発明は上記課題を解決するものであり、逐次入力される画像から、高い信頼性の下に検出対象物を高速に検出することができる対象物検出装置、対象物検出方法および対象物検出プログラム並びにそのプログラムを記録した記録媒体を提供することを目的としている。
【課題を解決するための手段】
【０００５】
本発明では、逐次入力される画像から、所定形状の検出対象物、例えば手指を、テンプレートマッチングにより検出する装置、方法において、各々の入力画像に対して、所定形状の各個体の手指に特化した、手指を含む部分輝度画像と背景を除外するためのマスク画像とから成るテンプレートを用いて第一の検出演算を行い、検出されたと判断された場合には、検出位置および対応するテンプレートのインデックスを検出結果として出力し、検出されないと判断された場合には、前記入力画像に複数の二値化処理方法を適用して算出された同数の二値化画像の全てに対して、予め作成しておいた様々な位置および姿勢に対応する複数の汎用シルエットテンプレートとの一致度を算出し、その最大値をもって検出の成否を判断し、検出されたと判断された場合には、撮像された所定形状の手指の画像から作成される第一の検出演算のためのテンプレートをテンプレートリストに追加し、検出されないと判断された場合には、前記入力画像に対する処理を終了し、次の入力画像に対する処理を開始するように構成した。
【０００６】
すなわち、上記課題を解決するための請求項１に記載の対象物検出装置は、画像入力手段により逐次入力される画像から、所定形状の検出対象物を検出する対象物検出装置において、予め対象物を撮像して得られた画像情報を基に作成され、輝度と色合いを二値に変換する複数の変換テーブルのうち、使用頻度の高い一つの変換テーブルを用いて、前記入力画像から二値画像を作成し、該二値画像と、予め設定された形状の検出対象物を含む部分輝度画像および背景を除外するためのマスク画像を有した第１のテンプレートとの一致度を演算し、一致度が最大となる画像を検出対象物画像として出力する第１の検出演算手段と、前記複数の変換テーブルの全ての変換テーブルを用いて、前記入力画像から複数の二値画像を作成し、該複数の二値画像と、予め作成された様々な位置および姿勢に対応する第２のテンプレートとの一致度を各々演算し、一致度が最大となる画像を検出対象物画像として出力する第２の検出演算手段と、前記第２の検出演算手段で検出された検出対象物画像を含む対象物領域に対応する画像を、前記入力画像および二値画像から切り出して前記第１のテンプレートを作成するテンプレート作成手段とを備えたことを特徴としている。
【０００７】
また上記課題を解決するための請求項４に記載の対象物検出方法は、画像入力手段により逐次入力される画像から、所定形状の検出対象物を検出する対象物検出方法において、第１の検出演算手段が、予め対象物を撮像して得られた画像情報を基に作成され、輝度と色合いを二値に変換する複数の変換テーブルのうち、使用頻度の高い一つの変換テーブルを用いて、前記入力画像から二値画像を作成する第１の二値画像作成ステップと、第１の検出演算手段が、前記作成された二値画像と、予め設定された形状の検出対象物を含む部分輝度画像および背景を除外するためのマスク画像を有した第１のテンプレートとの一致度を演算して検出対象物画像の検出を行う第１の検出演算ステップと、第１の検出演算手段が、前記第１の検出演算ステップにより検出対象物画像が検出されたと判断されたときに、当該検出対象物画像の検出位置および対応する第１のテンプレートのインデックスを出力する第１の出力ステップと、第２の検出演算手段が、前記第１の検出演算ステップにより検出対象物画像が検出されないと判断されたときに、複数の二値画像を作成する第２の二値画像作成ステップと、第２の検出演算手段が、前記作成された複数の二値画像と、予め作成された様々な位置および姿勢に対応する第２のテンプレートとの一致度を各々演算して検出対象物画像の検出を行う第２の検出演算ステップと、テンプレート作成手段が、前記第２の検出演算ステップで検出された検出対象物画像を含む対象物領域に対応する画像を、前記入力画像および二値画像から切り出してテンプレートを作成し、前記第１のテンプレートリストに追加するテンプレート作成ステップと、第２の検出演算手段が、前記第２の検出演算ステップにより検出対象物画像が検出されたと判断されたときに、当該検出対象物画像を出力する第２の出力ステップとを備えたことを特徴としている。
【０００８】
上記構成において、第１のテンプレートのマスク画像によって検出対象物の背景の画素が除外されるため、背景の影響を受けず、高速に且つ高精度で検出対象物が検出される。
【０００９】
また上記課題を解決するための請求項２に記載の対象物検出装置は、請求項１において、前記第１の検出演算手段は、前記二値画像と第１のテンプレートとの一致度を演算する際に、前記二値画像から検出対象物を含む検出対象領域画像を切り出し、該検出対象領域画像に対して前記第１のテンプレートのマスク画像と同一サイズの検出演算対象領域を設定し、該設定された領域の画像を前記検出対象領域画像から切り出し、該切り出された検出演算対象画像と前記第１のテンプレートとの一致度を演算することを特徴としている。
【００１０】
また上記課題を解決するための請求項５に記載の対象物検出方法は、請求項４において、前記第１の検出演算ステップは、前記二値画像から検出対象物を含む検出対象領域画像を切り出すステップと、前記切り出された検出対象物領域画像に対して前記第１のテンプレートのマスク画像と同一サイズの検出演算対象領域を設定するステップと、前記設定された領域の画像を前記検出対象領域画像から切り出すステップと、前記切り出された検出演算対象画像と前記第１のテンプレートとの一致度を演算するステップとを備えたことを特徴としている。
【００１１】
上記構成において、検出演算対象領域を設定し、その領域で切り出された検出演算対象画像と第１のテンプレートとの一致度を演算しているので、より高速に演算を行うことができる。
【００１２】
また上記課題を解決するための請求項３に記載の対象物検出装置は、請求項１又は２において、前記検出対象物は手指であることを特徴としている。
【００１３】
また上記課題を解決するための請求項６に記載の対象物検出方法は、請求項４又は５において、前記検出対象物は手指であることを特徴としている。
【００１４】
また上記課題を解決するための請求項７に記載の対象物検出プログラムは、請求項４ないし６のいずれかに記載の対象物検出方法の各ステップをコンピュータに実行させるためのプログラムとしたことを特徴としている。
【００１５】
また上記課題を解決するための請求項８に記載の対象物検出プログラムを記録した記録媒体は、請求項７に記載のプログラムを当該コピュータが読み取りできる記録媒体に記録したことを特徴としている。
【発明の効果】
【００１６】
（１）請求項１〜８に記載の発明によれば、マスクを用いて背景の影響を受けない高速な第１の検出演算と、対象物の色合いを考慮した高精度な第２の検出演算との２段階のテンプレートマッチングにより、高い信頼性の下に検出対象物を高速に検出することができる。例えば手指領域の背景に他の身体パーツが存在する場合でも、高速に且つ高精度で手指を検出することができる。
（２）請求項２、５に記載の発明によれば、検出演算対象領域を設定し、その領域で切り出された検出演算対象画像と第１のテンプレートとの一致度を演算しているので、より高速に演算を行うことができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００１８】
下記の実施形態例では、指差し形状の手指を検出する場合を例として説明する。はじめに、図１に示すフローチャートを用いて、本実施形態例の処理全体について説明する。
【００１９】
まず、入力画像に対して、後述の第１のテンプレートを用いて第一の検出演算を行い（ステップＳ１０００）、検出されたか否かを判断し（ステップＳ１００１）、検出された場合には、検出位置と対応するテンプレートのインデックスとを検出結果として出力し（ステップＳ１００５）、検出されない場合には、入力画像に対して、後述の第２のテンプレートを用いて第二の検出演算を行い（ステップＳ１００２）、検出されたか否かを判断し（ステップＳ１００３）、検出された場合には、撮像された手指の見えに対応する、前記第一の検出演算で用いるテンプレートを作成し、テンプレートリストに追加し（ステップＳ１００４）、検出結果を出力し（ステップＳ１００５）、検出されない場合には終了する。
【００２０】
次に本実施形態例における対象物検出装置の構成を図２とともに説明する。図２において１０は画像入力手段としての画像入力部であり、１１は本発明の第１の検出演算手段としての第１の検出演算部である。
【００２１】
この第１の検出演算部１１は、画像の画素の輝度と色合いを二値に変換するための変換テーブル２０の一つの変換テーブルを用いて、画像入力部１０より逐次入力される入力画像から二値画像を作成し、該二値画像と、手指領域の輝度画像および背景を除外するためのマスク画像を有した第１のテンプレート３１との一致度を演算し、一致度が最大となる画像を出力する。
【００２２】
４１は、第１の検出演算部１１によって検出対象物、すなわち本実施形態例では手指が検出されたか否かを判断する第１の判断部である。
【００２３】
１２は本発明の第２の検出演算手段としての第２の検出演算部である。この第２の検出演算部１２は、前記第１の判断部４１が、検出されないと判断した場合に、前記変換テーブル２０の複数の変換テーブルを用いて、前記の入力画像から複数の二値画像を作成し、該複数の二値画像と、予め作成された様々な位置および姿勢に対応する第２のテンプレート３２（例えば複数の汎用シルエットテンプレート）との一致度を演算し、一致度が最大となる画像を出力する。
【００２４】
４２は、第２の検出演算部１２によって検出対象物（手指）が検出されたか否かを判断する第２の判断部である。
【００２５】
５０は本発明のテンプレート作成手段としてのテンプレート作成部である。このテンプレート作成部５０は、前記第２の判断部４２が、検出されたと判断した場合に、第２の検出演算部１２で検出された検出対象物画像を含む対象物領域に対応する画像を、前記入力画像および二値画像から切り出して前記第１の検出演算のためのテンプレートを作成し、前記第１のテンプレート３１のテンプレートリストに追加する。
【００２６】
尚前記第２の判断部４２が、検出されたと判断した場合は検出結果の画像を出力し、検出されないと判断した場合は前記入力画像に対する処理を終了し、次の入力画像に対する処理を開始する。
【００２７】
したがって図２の装置においては、第１の検出演算部１１が図１のステップＳ１０００の処理を行い、第１の判断部４１が図１のステップＳ１００１の処理を行い、第２の検出演算部１２が図１のステップＳ１００２の処理を行い、第２の判断部４２が図１のステップＳ１００３の処理を行い、テンプレート作成部５０が図１のステップＳ１００４の処理を行うものである。
【００２８】
前記画像入力部１０、第１の検出演算部１１、第２の検出演算部１２、変換テーブル２０、第１のテンプレート３１、第２のテンプレート３２、第１の判断部４１、第２の判断部４２およびテンプレート作成部５０は、例えばコンピュータシステムによって構成されるものであり、各データを格納するメモリ等は図示省略している。
【００２９】
次に前記のように構成された対象物検出装置の動作を説明する。はじめに、第一の検出演算（図１のステップＳ１０００）で用いるテンプレート（図２の第１のテンプレート３１）について説明する。第１のテンプレート３１は、図３に示すように、手指領域画像の全てもしくはその一部からなる画素値データ（２０００）と有効領域を示すマスク画像（２００１）とから構成されている。
【００３０】
以下、第一の検出演算（図１のステップＳ１０００）について説明する。まず第１の検出演算部１１は、入力画像から二値画像を作成する際に用いる変換テーブル（２０）を、例えば図４に示す変換テーブル（４０００）リストから選択する。ここで、選択される変換テーブルは、図５に示す使用頻度テーブル（５０００）の使用頻度（５００２）が最も高い変換テーブルＩＤ（５００１）に対応するものとする。
【００３１】
次に例えば、図６に示すように、入力画像から、前記変換テーブルを用いて二値画像を作成する。図６では、入力画像Ａ（３０００）から二値画像Ａ（３００１）が、入力画像Ｂ（３００２）から二値画像Ｂ（３００３）が、各々作成されている。
【００３２】
ここで、図４に示す変換テーブル（４０００）は、入力画像における画素のＹＵＶ値を０もしくは１に変換するためのテーブルである。４００１は輝度に対応するＹ軸で、４００２はひとつの色度に対応するＵ軸で、４００３は別の色度に対応するＶ軸である。４００４は前記テーブルのＵＶ平面であり、０もしくは１で構成されている。変換テーブルのサイズについては、例えば、入力画像の画素のＹＵＶ値の各々のレンジが０から２５５である場合、（Ｙ、Ｕ、Ｖ）軸の区分数は（２５６、２５６、２５６）である。もしくは、（６４、２５６、２５６）と量子化したかたちでもよい。なお、変換テーブルについては、ブルーバックの下に様々な検出対象を撮像して得られた検出対象画像の色情報を基にして、複数個を予め作成しておく。
【００３３】
尚、ここではＹＵＶ値を利用して説明するが、一般に輝度と色合いとを表現する他の系を用いても良い。
【００３４】
次に、図７に示すように、作成された二値画像（６０００）の各々の単連結領域（６００１）に対して、最小外接矩形（６００２）を求め、この外接矩形を基準にして、所定のマージンをもって検出対象領域（６００３）を求める。
【００３５】
一例として、図６に示す入力画像Ａ（３０００）および入力画像Ｂ（３００２）からは、図８に示す最小外接矩形Ａ１（７０００）、最小外接矩形Ａ２（７００１）および最小外接矩形Ｂ（７００４）が求められ、これら外接矩形を基準にして、検出対象領域Ａ１（７００２）、検出対象領域Ａ２（７００３）および検出対象領域Ｂ（７００５）が求められる。
【００３６】
次に、図９に示すように、前記図７の検出対象領域（６００３）により切り出された検出対象領域画像（８０００）に対して、全ての画素位置において、図３のテンプレートのマスク画像（２００１）と同一のサイズである検出演算対象領域（８００１）を設定し、この検出演算対象領域（８００１）により切り出される検出演算対象画像（８００２）と図３のテンプレートの画素値データ（２０００）との一致度を、正規化相関演算により算出する。ただし、テンプレートのマスク画像（２００１）により除外される画素については、演算の際にこれを用いない。なお、検出対象領域画像（８０００）からはみ出る検出演算対象領域（８００１）に対しては、これを設定しない。
【００３７】
一例として、図６に示す入力画像Ｂ（３００２）からは、図１０に示す検出対象領域画像Ｂ（９０００）が求められ、検出演算対象領域Ｂ１（９００１）および検出演算対象領域Ｂ２（９００３）からは、各々、検出演算対象画像Ｂ１（９００２）および検出演算対象画像Ｂ２（９００４）が求められる。
【００３８】
図１１に、上記の処理（図１のステップＳ１０００）に対応するフローチャートの一例を示す。図１１において、まず、最大値を初期化し（ステップＳ１５０００）、未処理の検出対象領域画像（８０００）があるかを判断し（ステップＳ１５００１）、ある場合には、検出対象領域画像（８０００）の全画素位置において、前記の方法にて全てのテンプレートとの一致度を算出し、各画像の最大値を求め（ステップＳ１５００２）、各画像の最大値が最大値を超えるかを判断し（Ｓステップ１５００３）、超える場合には、各画像の最大値を最大値とし、検出対象領域画像のＩＤを保存し、一致度が最大となる画素位置を保存し（ステップＳ１５００４）、超えない場合には、ステップＳ１５００１に戻る。そして未処理の検出対象領域画像（８０００）がない場合には、処理を終了する。
【００３９】
次に、第二の検出演算（図１のステップＳ１００２）について説明する。まず第２の検出演算部１２は、前記第一の検出演算の際と同様にして、各々の図７の単連結領域（６００１）に対して二値画像（６０００）を作成する。
【００４０】
その際、図１２に示すように、入力画像（１００００）に対して、図４に示す全ての変換テーブル（４０００）を用いて、各々に対応する二値画像（１０００１および１０００２）を作成する。なお、図１２は図５におけるＮが２の場合の例であり、一般に、異なる変換テーブル（４０００）に対しては、各々異なる二値画像（１０００１および１０００２）が作成されることを示してある。
【００４１】
次に、求められた前記二値画像（１０００１および１０００２）の各々に対して、全ての単連結領域を検出し、各々の単連結領域をひとつずつ含む二値画像（１０００３、１０００４および１０００５）を作成する。
【００４２】
一例として、図６の二値画像Ａ（３００１）からは、図１３に示す二値画像Ｒ１（１１０００）および二値画像Ｒ２（１１００１）が作成される。
【００４３】
次に、作成された全ての前記二値画像（１０００３、１０００４および１０００５）に対して、その全ての画素位置において、図１３に示すシルエットテンプレート（１１００２）（図２の第２のテンプレート３２）の全てを用いて一致度を算出し、一致度の最大値を求める。なお、シルエットテンプレートについては、ブルーバックの下に様々な姿勢の検出対象を撮像して得られた検出対象画像を基にして、予め作成しておく。
【００４４】
次に、求められた一致度の最大値が所定の値未満である場合には、現在の入力画像に対する処理を終了し、次の入力画像に対する処理を開始する。
【００４５】
次に、一致度が最大となる変換テーブル（４０００）の変換テーブルＩＤに対応する、図５に示す使用頻度テーブル（５０００）の使用頻度（５００２）に１を加算する。
【００４６】
次に、テンプレート作成部５０は図１３に示すように、一致度が最大となる単連結領域（１１００３）から、図１４に示す二値画像の横軸への投影形状（１２０００）およびその端点（１２００１）を求める。
【００４７】
前記投影形状は正規化して用いることで手指のシルエット画像の大きさにも対応できるものであり、例えば図１３のシルエットテンプレート（１１００２）に予め、画像上でのシルエットの大きさに関する情報を付随させておき、一致度が最大となるシルエットテンプレート（１１００２）に付随する前記大きさに関する情報に基づき、投影形状の大きさを正規化してから処理を行ってもよい。
【００４８】
次に、前記投影形状（１２０００）に対して、図１５に示すように、横軸上の点Ａ（１３０００）と点Ｂ（１３００１）とを所定の間隔を保持したまま走査し、各々の位置における前記投影形状（１２０００）の位置Ａ（１３００２）と位置Ｂ（１３００３）との差分（１３００４）が最大となる、点Ａ（１３０００）の位置と点Ｂ（１３００１）の位置とを求め、その中点（１３００５）を求める。
【００４９】
次に、前記中点（１３００５）から所定のマージンをもって、横軸方向の境界位置Ａ（１３００６）および境界位置Ｂ（１３００７）を算出する。
【００５０】
次に、図１６に示すように、前記単連結領域（１１００３）を前記境界位置Ａ（１３００６）および境界位置Ｂ（１３００７）にある境界線で切り出して部分単連結領域（１４０００）とし、この部分単連結領域（１４０００）に対する２つの水平接線の位置を求め、各々位置Ｃ（１４００１）および位置Ｄ（１４００２）とする。
【００５１】
次に、前記位置Ｃ（１４００１）および位置Ｄ（１４００２）から、各々所定のマージンをもって境界位置Ｅ（１４００３）および境界位置Ｆ（１４００４）を求め、前記境界位置Ａ（１３００６）、境界位置Ｂ（１３００７）、境界位置Ｅ（１４００３）および境界位置Ｆ（１４００４）から、対象物領域（１４００５）を求める。
【００５２】
次に、前記図６の入力画像Ａ（３０００）および前記二値画像Ａ（３００１）から、前記図１６の対象物領域（１４００５）に対応する画像を切り出し、これを図１の第１のテンプレート３１の画素値データ（２０００）およびマスク画像（２００１）として、テンプレートリストに追加する。
【００５３】
また本発明の対象物検出方法は、例えば図２の対象物検出装置が行う各処理を実行するものであり、以下のステップを行う。
【００５４】
すなわち、予め対象物を撮像して得られた画像情報を基に作成され、輝度と色合いを二値に変換する複数の変換テーブルのうち、使用頻度の高い一つの変換テーブルを用いて、前記入力画像から二値画像を作成する第１の二値画像作成ステップと、前記作成された二値画像と、予め設定された形状の検出対象物を含む部分輝度画像および背景を除外するためのマスク画像を有した第１のテンプレートとの一致度を演算して検出対象物画像の検出を行う第１の検出演算ステップと、前記第１の検出演算ステップにより検出対象物画像が検出されたと判断されたときに、当該検出対象物画像の検出位置および対応する第１のテンプレートのインデックスを出力する第１の出力ステップと、前記第１の検出演算ステップにより検出対象物画像が検出されないと判断されたときに、複数の二値画像を作成する第２の二値画像作成ステップと、前記作成された複数の二値画像と、予め作成された様々な位置および姿勢に対応する第２のテンプレートとの一致度を各々演算して検出対象物画像の検出を行う第２の検出演算ステップと、前記第２の検出演算ステップで検出された検出対象物画像を含む対象物領域に対応する画像を、前記入力画像および二値画像から切り出してテンプレートを作成し、前記第１のテンプレートリストに追加するテンプレート作成ステップと、前記第２の検出演算ステップにより検出対象物画像が検出されたと判断されたときに、当該検出対象物画像を出力する第２の出力ステップとを実行する。
【００５５】
また前記第１の検出演算ステップにおいては、前記二値画像から検出対象物を含む検出対象領域画像を切り出すステップと、前記切り出された検出対象物領域画像に対して前記第１のテンプレートのマスク画像と同一サイズの検出演算対象領域を設定するステップと、前記設定された領域の画像を前記検出対象領域画像から切り出すステップと、前記切り出された検出演算対象画像と前記第１のテンプレートとの一致度を演算するステップとを実行する。
【００５６】
また前記対象物検出方法の各ステップをコンピュータに実行させるためのプログラムを構築するものである。
【００５７】
また前記プログラムを記録した記録媒体を、システム、又は装置に供給し、そのシステム又は装置のＣＰＵ（ＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することも可能である。この場合記録媒体から読み出されたプログラム自体が上記実施形態の機能を実現することになり、このプログラムを記録した記録媒体としては、例えば、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯ及びＨＤＤ等がある。
【００５８】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上述の実施例に限定されるものではなく、幅広く応用することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の一実施形態例の処理全体を説明するフローチャート。
【図２】本発明の一実施形態例の対象物検出装置の全体構成図。
【図３】本発明の一実施形態例を示し、第一の検出演算のためのテンプレートの説明図。
【図４】本発明の一実施形態例を示し、変換テーブルの説明図。
【図５】本発明の一実施形態例を示し、変換テーブル選択のための頻度テーブルの説明図。
【図６】本発明の一実施形態例を示し、二値化の例の説明図。
【図７】本発明の一実施形態例を示し、検出対象領域の説明図。
【図８】本発明の一実施形態例を示し、検出対象領域の例の説明図。
【図９】本発明の一実施形態例を示し、検出演算対象画像の説明図。
【図１０】本発明の一実施形態例を示し、検出演算対象画像の例の説明図。
【図１１】本発明の一実施形態例を示し、第一の検出演算のフローチャート。
【図１２】本発明の一実施形態例を示し、各々の変換テーブルによる二値画像における単連結領域の例の説明図。
【図１３】本発明の一実施形態例を示し、第二の検出演算のためのテンプレートの説明図。
【図１４】本発明の一実施形態例を示し、指差し形状の手指の二値画像から対象物領域を求める方法の説明図。
【図１５】本発明の一実施形態例を示し、指差し形状の手指の二値画像から対象物領域を求める方法の説明図。
【図１６】本発明の一実施形態例を示し、指差し形状の手指の二値画像から対象物領域を求める方法の説明図。
【符号の説明】
【００６０】
１０…画像入力部、１１…第１の検出演算部、１２…第２の検出演算部、２０…変換テーブル、３１…第１のテンプレート、３２…第２のテンプレート、４１…第１の判断部、４２…第２の判断部、５０…テンプレート作成部、２０００…画素値データ、２００１…マスク画像、３０００…入力画像Ａ、３００１…二値画像Ａ、３００２…入力画像Ｂ、３００３…二値画像Ｂ、４０００…変換テーブル、４００１…Ｙ軸、４００２…Ｕ軸、４００３…Ｖ軸、４００４…ＵＶ平面、５０００…使用頻度テーブル、５００２…使用頻度、５００１…変換テーブルＩＤ、６０００…二値画像、６００１…単連結領域、６００２…最小外接矩形、６００３…検出対象領域、７０００…最小外接矩形Ａ１、７００１…最小外接矩形Ａ２、７００２…検出対象領域Ａ１、７００３…検出対象領域Ａ２、７００４…最小外接矩形Ｂ、７００５…検出対象領域Ｂ、８０００…検出対象領域画像、８００１…検出演算対象領域、８００２…検出演算対象画像、９０００…検出対象領域画像Ｂ、９００１…検出演算対象領域Ｂ１、９００２…検出演算対象画像Ｂ１、９００３…検出演算対象領域Ｂ２、９００４…検出演算対象画像Ｂ２、１００００…入力画像、１０００１〜１０００５…二値画像、１１０００…二値画像Ｒ１、１１００１…二値画像Ｒ２、１１００２…シルエットテンプレート、１１００３…単連結領域、１２０００…投影形状、１２００１…端点、１３０００…横軸上の点Ａ、１３００１…横軸上の点Ｂ、１３００２…位置Ａ、１３００３…位置Ｂ、１３００４…差分、１３００５…中点、１３００６…境界位置Ａ、１３００７…境界位置Ｂ、１４０００…部分単連結領域、１４００１…位置Ｃ、１４００２…位置Ｄ、１４００３…境界位置Ｅ、１４００４…境界位置Ｆ、１４００５…対象物領域。
【図１】
2008134940.tif 000003
【図２】
2008134940.tif 000004
【図３】
2008134940.tif 000005
【図４】
2008134940.tif 000006
【図５】
2008134940.tif 000007
【図６】
2008134940.tif 000008
【図７】
2008134940.tif 000009
【図８】
2008134940.tif 000010
【図９】
2008134940.tif 000011
【図１０】
2008134940.tif 000012
【図１１】
2008134940.tif 000013
【図１２】
2008134940.tif 000014
【図１３】
2008134940.tif 000015
【図１４】
2008134940.tif 000016
【図１５】
2008134940.tif 000017
【図１６】
2008134940.tif 000018