(57)【特許請求の範囲】
【請求項１】
入力された画像に対して、前処理として、ぼかし度合いが異なる複数のぼかし処理が行われた複数の画像を生成する前処理手段と、
前記画像に対して対象物の探索領域を設定する探索領域設定手段と、
前記探索領域設定手段により前記探索領域が設定される毎に、前記探索領域設定手段により設定された探索領域の大きさが所定の大きさより大きい場合、前記前処理手段により前処理された前記複数の画像のうち、前記探索領域の大きさが大きくなるに従ってぼかし度合いが大きくなる画像を用いて、該画像と、対象物の特徴を示す学習モデルと、に基づいて、前記探索領域に対象物があるかを検出し、前記探索領域設定手段により設定された探索領域の大きさが前記所定の大きさ以下である場合、前記入力された画像と、前記対象物の特徴を示す学習モデルと、に基づいて、前記探索領域に対象物があるかを検出する対象物検出手段と、
を備えた対象物検出装置。
【請求項２】
前記前処理手段は、前記入力された画像に対して、前処理として、前記複数のぼかし処理、及び輪郭部分を強調するシャープネス処理が行われた前記複数の画像を生成し、
前記対象物検出手段は、前記探索領域設定手段により設定された探索領域の大きさが所定の大きさより小さい第２の大きさ以下である場合、前記前処理手段により前処理された複数の画像のうち、輪郭部分が強調された画像を用いて、該画像と、対象物の特徴を示す学習モデルと、に基づいて、前記探索領域に対象物があるかを検出する
請求項１に記載の対象物検出装置。
【請求項３】
前記対象物を含む複数の学習用画像の各々に対して、当該学習用画像内の対象物の大きさが所定の大きさより大きい場合、前処理として、前記対象物の大きさが大きくなるに従ってぼかし度合いが大きくなるようなぼかし処理を行う学習用前処理手段と、
前記学習用前処理手段により前処理された各学習用画像に基づいて、前記対象物の特徴を示す学習モデルを生成する学習モデル生成手段と、
を更に含む請求項１又は２記載の対象物検出装置。
【請求項４】
前記学習用前処理手段は、当該学習用画像内の対象物の大きさが前記所定の大きさより小さい第２の大きさ以下である場合、前記前処理として、輪郭部分を強調するシャープネス処理を行う
請求項３に記載の対象物検出装置。
【請求項５】
コンピュータを、
入力された画像に対して、前処理として、ぼかし度合いが異なる複数のぼかし処理が行われた複数の画像を生成する前処理手段と、
前記画像に対して対象物の探索領域を設定する探索領域設定手段と、
前記探索領域設定手段により前記探索領域が設定される毎に、前記探索領域設定手段により設定された探索領域の大きさが所定の大きさより大きい場合、前記前処理手段により前処理された前記複数の画像のうち、前記探索領域の大きさが大きくなるに従ってぼかし度合いが大きくなる画像を用いて、該画像と、対象物の特徴を示す学習モデルと、に基づいて、前記探索領域に対象物があるかを検出し、前記探索領域設定手段により設定された探索領域の大きさが前記所定の大きさ以下である場合、前記入力された画像と、前記対象物の特徴を示す学習モデルと、に基づいて、前記探索領域に対象物があるかを検出する対象物検出手段と、
して機能させるための対象物検出プログラム。
【請求項６】
前記前処理手段は、前記入力された画像に対して、前処理として、前記複数のぼかし処理、及び輪郭部分を強調するシャープネス処理が行われた前記複数の画像を生成し、
前記対象物検出手段は、前記探索領域設定手段により設定された探索領域の大きさが所定の大きさより小さい第２の大きさ以下である場合、前記前処理手段により前処理された複数の画像のうち、輪郭部分が強調された画像を用いて、該画像と、対象物の特徴を示す学習モデルと、に基づいて、前記探索領域に対象物があるかを検出する
請求項５に記載の対象物検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物検出装置及びプログラムに関する。
【背景技術】
【０００２】
従来、背景の切り取り等の処理を行うことなく映像の画面中の人物を直接かつ精度良く検出する物体検出装置が開示されている（特許文献１参照）。
【０００３】
特許文献１の物体検出装置は、物体特徴辞書に定義されている物体の特徴を参照しながら特定された画像から物体候補を検出し、物体候補の中から検出対象の物体と検出対象に似ているが検出対象の物体ではない疑似物体とを識別するための判別特徴辞書を作成し、この判別特徴辞書を用いて物体候補の中から検出対象である物体のみを判別する。
【特許文献１】特開平１０−２２２６７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
通常、検出しようとする対象物や対象物候補（以下「対象物等」という。）の大きさ、すなわち対象物等の解像度は、対象物までの距離に影響されるので、入力される画像により異なる。しかし、特許文献１では、解像度が考慮されることなく、物体の特徴が物体特徴辞書で定義され、判別特徴辞書が作成される。このため、性能のよい辞書が作成されない問題がある。また、特許文献１の物体検出装置は、解像度の異なる画像に対して、所定の解像度の画像から作成された同一の辞書を使用するので、識別機能の性能が低いという問題がある。
【０００５】
本発明は、上述した課題を解決するために提案されたものであり、画像内の対象物の大きさにかかわらず、対象物を高精度に検出することができる対象物検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１の発明である対象物検出装置は、入力された画像に対して、前処理として、ぼかし度合いが異なる複数のぼかし処理が行われた複数の画像を生成する前処理手段と、前記画像に対して対象物の探索領域を設定する探索領域設定手段と、前記探索領域設定手段により前記探索領域が設定される毎に、前記探索領域設定手段により設定された探索領域の大きさが所定の大きさより大きい場合、前記前処理手段により前処理された前記複数の画像のうち、前記探索領域の大きさが大きくなるに従ってぼかし度合いが大きくなる画像を用いて、該画像と、対象物の特徴を示す学習モデルと、に基づいて、前記探索領域に対象物があるかを検出し、前記探索領域設定手段により設定された探索領域の大きさが前記所定の大きさ以下である場合、前記入力された画像と、前記対象物の特徴を示す学習モデルと、に基づいて、前記探索領域に対象物があるかを検出する対象物検出手段と、を備えている。
【００１２】
請求項２の発明は、請求項１に記載の対象物検出装置であって、前記前処理手段は、前記入力された画像に対して、前処理として、前記複数のぼかし処理、及び輪郭部分を強調するシャープネス処理が行われた前記複数の画像を生成し、前記対象物検出手段は、前記探索領域設定手段により設定された探索領域の大きさが所定の大きさより小さい第２の大きさ以下である場合、前記前処理手段により前処理された複数の画像のうち、輪郭部分が強調された画像を用いて、該画像と、対象物の特徴を示す学習モデルと、に基づいて、前記探索領域に対象物があるかを検出する。
【００１３】
請求項５の発明である対象物検出プログラムは、コンピュータを、入力された画像に対して、前処理として、ぼかし度合いが異なる複数のぼかし処理が行われた複数の画像を生成する前処理手段と、前記画像に対して対象物の探索領域を設定する探索領域設定手段と、前記探索領域設定手段により前記探索領域が設定される毎に、前記探索領域設定手段により設定された探索領域の大きさが所定の大きさより大きい場合、前記前処理手段により前処理された前記複数の画像のうち、前記探索領域の大きさが大きくなるに従ってぼかし度合いが大きくなる画像を用いて、該画像と、対象物の特徴を示す学習モデルと、に基づいて、前記探索領域に対象物があるかを検出し、前記探索領域設定手段により設定された探索領域の大きさが前記所定の大きさ以下である場合、前記入力された画像と、前記対象物の特徴を示す学習モデルと、に基づいて、前記探索領域に対象物があるかを検出する対象物検出手段と、して機能させる。
【発明の効果】
【００１５】
本発明に係る対象物検出装置及びプログラムは、探索領域が設定される毎に、輪郭部分の階調差が異なるように前処理された複数の画像のうち探索領域の大きさに応じた階調差の画像を用いて対象物を検出するので、画像内の対象物の大きさにかかわらず、高精度に対象物を検出することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【００１７】
［原理］
図１は、様々なサイズの探索ウィンドウ内の画像（以下「探索ウィンドウ画像」という。）と対象物検出結果を示す図である。同図に示すように、対象物までの距離が遠くなるほど、対象物（本実施形態では歩行者）の画像サイズが小さくなるので、探索ウィンドウ画像が小さくなる。従来、対象物までの距離が遠い場合及び近い場合は探索ウィンドウ画像から対象物が検出されず、その中間の距離の場合のみに探索ウィンドウ画像から対象物が検出された。そこで、対象物までの距離が遠い場合及び近い場合は、対象物を検出するための前処理が必要になる。
【００１８】
図２は、対象物まで遠い、近い、中間の場合の探索ウィンドウ画像と２次元ＦＦＴ（高速フーリエ変換）のスペクトルパターンを示す図である。図３は、２次元ＦＦＴのスペクトルパターンの高周波部分を示す図である。図４は、７×７ガウシアンフィルタ処理をしていない場合及びその処理をしている場合の２次元ＦＦＴのスペクトルパターン、検出性能が良いサイズの探索ウィンドウ画像の２次元ＦＦＴのスペクトルパターンを示す図である。なお、ぼかし処理はガウシアンフィルタ処理に限定されるものではなく、その他の処理、例えばメディアンフィルタ処理を用いてもよい。
【００１９】
図４に示すように、７×７ガウシアンフィルタ処理をしていない場合の高周波成分は、検出性能が良いサイズの探索ウィンドウ画像の高周波成分に類似しないが、７×７ガウシアンフィルタ処理をしている場合の高周波成分は、検出性能が良いサイズの探索ウィンドウ画像の高周波成分に類似している。すなわち、対象物までの距離が近い場合は、探索ウィンドウ画像にぼかし処理を施すことにより、探索ウィンドウ画像から対象物を検出することが可能になる。これは、次の理由による。
【００２０】
探索ウィンドウのサイズ（対象物がカメラから近いか遠いか）により、画像の鮮明さである解像度が異なる。例えば、対象物が人物である場合、人物がカメラから近い、すなわち探索ウィンドウのサイズが大きい場合は、画像が鮮明になり、人物の大まかな形状だけでなく、服の模様や背景の雑多なものが鮮明に撮影される。よって、この画像をそのまま用いて人物を検出するのは難しい。
【００２１】
また、人物がカメラから遠い、すなわち探索ウィンドウのサイズが小さい場合は、画像がぼけるため服の模様や背景等の対象物検出に影響を与える情報は低減されるものの、人物の大まかな形状さえも検出しづらくなる。探索ウィンドウのサイズがこれらの中間にある場合、探索ウィンドウ画像は適度なぼけ具合となり、最も検出しやすくなる。
【００２２】
そこで、探索ウィンドウのサイズが大きい場合と小さい場合では、その中間の場合と同様に、ぼけ具合が同じようになるように探索ウィンドウ画像に画像処理を行えば、対象物検出性能を向上させることができる。なお、対象物検出時だけでなく、学習モデル生成時においても、上記と同様の処理を行うことで、対象物検出性能を向上させることができる。
【００２３】
図５は、最適な前処理の探し方を説明する図である。まず、サンプルとなる全画像に対して、サイズごとに複数のグループを作成する。この画像に対して、前処理のない従来の対象物検出装置により検出処理を行い、最も検出率の高いサンプルのグループを基準画像とする。次に図５に示すように、前記サンプルとなる全画像に対して、処理なしの画像、処理１、２、・・・、Ｎ（処理１〜Ｎ：ぼかし方法、ぼかし度合いの異なるぼかし処理）の施された画像を用意する。そして、基準画像のＦＦＴ高周波成分の平均と、上述した各画像のＦＦＴ高周波成分と、の類似度を、例えばユークリッド距離を用いて算出する。
【００２４】
サイズごとのグループに対して、処理なしの類似度より処理後の類似度が高くなるサンプルの数を集計し、処理なしの類似度より処理後の類似度が低くなるサンプルの数より多い処理を有効な処理とする。有効な処理の中から、サイズごとのグループに対して使用する前処理を選択する。選択の仕方は、サンプル画像に対して使用する処理を最小化する、あるいは、処理なしの類似度より処理後の類似度が高くなるサンプルの数が最も多い処理を選択する方法がある。本発明の実施の形態に係る対象物検出装置は、このようにして見つけられた前処理を次のように行う。
【００２５】
［対象物検出装置の構成］
図６は、本発明の実施の形態に係る対象物検出装置の構成を示すブロック図である。対象物検出装置は、学習モデルを生成するための前処理を行う学習用前処理部１１と、学習モデルを生成する学習部１２と、生成された学習モデルを記憶する学習モデル記憶部１３と、を備えている。
【００２６】
対象物検出装置は、さらに、物体を撮像する撮像部２１と、物体を検出するための前処理を行う検出用前処理部２２と、探索ウィンドウ内の画像であるウィンドウ画像を抽出するウィンドウ画像抽出部２３と、対象物を検出する処理を行う検出部２４と、検出結果を出力する結果出力部２５と、を備えている。
【００２７】
以上のように構成された対象物検出装置は、対象物として例えば歩行者を検出するために、次の学習処理ルーチンを実行して学習モデルを生成し、この学習モデルを用いて対象物検出ルーチンを実行する。
【００２８】
［対象物の学習］
図７は、学習処理ルーチンを示すフローチャートである。
【００２９】
ステップＳ１では、学習用前処理部１１は、対象物の学習用画像（Positive 画像）と対象物ではないものの学習用画像（Negative 画像）を入力して、ステップＳ２に進む。本実施形態では、Positive 画像として歩行者の画像、Negative 画像として、電柱や看板などの画像が用いられる。
【００３０】
ステップＳ２では、学習用前処理部１１は、学習用画像に含まれる対象物の大きさに基づいて、学習用画像に前処理を行う。本実施形態では、学習用前処理部１１は、対象物の大きさ（縦方向の画素数）が５０画素以下であれば学習用画像にシャープネス処理を行い、対象物の大きさが５０画素を超えて９０画素以下であれば何も処理をしない。また、学習用前処理部１１は、対象物の大きさが９０画素を超えて１４０画素以下であれば３×３ガウシアンフィルタ処理を行い、対象物の大きさが１４０画素を超えれば７×７ガウシアンフィルタ処理を行う。すなわち、学習用前処理部１１は、対象物の大きさが大きくなるに従ってぼかしの程度が大きくなるように、必要に応じて学習用画像に画像処理を行う。
【００３１】
ステップＳ３では、学習用前処理部１１は、ステップＳ２を経た学習用画像から必要な領域の画像、具体的には対象物の存在する領域画像（以下、「対象物領域画像」という。）を所定の縦横比で切り取り、ステップＳ４に進む。例えば、学習用前処理部１１は、対象物が歩行者の場合、横１に対して縦２の比率で対象物領域画像を切り取る。
【００３２】
ステップＳ４では、学習部１２は、正規化された対象物領域画像を用いて学習を行い、学習モデルを生成する。学習部１２は、例えば、対象物領域画像の輝度やサイズを正規化し特徴量を抽出する。特徴量としては、例えば、Ｈａａｒ−Ｌｉｋｅ特徴、４方向面特徴、２次元高速フーリエ変換のスペクトルパターン等がある。また、学習部１２は、例えば、ＡｄａＢｏｏｓｔ、サポートベクターマシン（ＳＶＭ）などの学習を行いてもよい。
【００３３】
このように、対象物検出装置は、学習用画像に対して、対象物までの距離が近くなるに従って、すなわち学習用画像に含まれる対象物の大きさが大きくなるに従ってぼかし度合いの大きくなるようなぼかし処理を行い、ぼかし処理済みの学習用画像を用いて対象物を検出するための学習モデルの生成を行う。これにより、対象物検出装置は、対象物までの距離に影響されることなく、対象物を精度良く検出するための学習モデルを生成することができる。
【００３４】
［対象物検出］
図８は、対象物検出ルーチンを示すフローチャートである。対象物検出装置は、次のステップＳ１１からステップＳ２０までの処理を実行する。
【００３５】
ステップＳ１１では、撮像部２１が被写体を撮像して画像を生成する。検出用前処理部２２は撮像部２１で生成された画像を入力して、ステップＳ１２に進む。本実施形態では、検出用前処理部２２は、撮像部２１によってリアルタイムで生成された画像を入力しているが、図示しない記憶装置に予め記憶された画像を入力してもよい。
【００３６】
ステップＳ１２では、検出用前処理部２２は、使用する複数の前処理により前処理画像を作成して、ステップＳ１３に進む。ここでは、検出用前処理部２２は、撮像部２１で生成された画像に対して、３つの前処理、具体的にはシャープネス処理（例えば原画像からラプラシアン処理済みの画像を引いた画像）、３×３ガウシアンフィルタ処理、７×７ガウシアンフィルタ処理をそれぞれ行い、そして所定サイズの探索ウィンドウを設定する。
【００３７】
ステップＳ１３では、ウィンドウ抽出部２３は、前処理済みの各画像及び前処理の施されていない画像の中から、探索ウィンドウのサイズ（縦方向の画素数）に応じて例えば次のように画像を選択する。
【００３８】
（探索ウィンドウのサイズ）      →（選択される前処理済みの画像）
５０画素以下                  →  シャープネス処理済み画像
５０画素を超えて９０画素以下  →  前処理なし画像
９０画素を超えて１４０画素以下→  ３×３ガウシアンフィルタ処理済み画像
１４０画素超                  →  ７×７ガウシアンフィルタ処理済み画像
このように、探索ウィンドウのサイズが大きくなるに従って、選択される画像の輪郭部分の階調差が小さく（ぼかし度合いが大きく）なっている。なお、探索ウィンドウのサイズと前処理済み画像との関係は一例に過ぎず、本発明はこれに限定されるものではない。そして、ウィンドウ抽出部２３は、選択した画像に探索ウィンドウを設定し、探索ウィンドウ内の画像である探索ウィンドウ画像を抽出して、ステップＳ１４に進む。
【００３９】
ステップＳ１４では、ウィンドウ抽出部２３は、探索ウィンドウ画像のサイズ及び輝度値をそれぞれ正規化して、ステップＳ１５に進む。
【００４０】
ステップＳ１５では、検出部２４は、ステップＳ１４で正規化された探索ウィンドウ画像から特徴量を計算して、ステップＳ１６に進む。特徴量としては、例えば、Ｈａａｒ−Ｌｉｋｅ特徴、４方向面特徴、２次元高速フーリエ変換（ＦＦＴ）のスペクトルパターン等がある。
【００４１】
ステップＳ１６では、検出部２４は、正規化された探索ウィンドウ画像の特徴量と、学習モデル記憶部１３に記憶されている学習モデル（特徴量）と、を比較して、ステップＳ１７に進む。
【００４２】
ステップＳ１７では、検出部２４は、ステップＳ１６の比較結果として対象物の確からしさを評価値として算出し、その評価値に基づいて探索ウィンドウ画像が対象物であるか否かを判定する。なお、探索ウィンドウ画像と学習モデルとを用いた対象物の検出においては、公知の技術を用いることができる。そして、探索ウィンドウ画像が対象物である場合はステップＳ１８に進み、対象物でない場合はステップＳ１９に進む。
【００４３】
ステップＳ１８では、検出部２４は、ステップＳ１５で対象物を検出したときの探索ウィンドウのサイズ及び位置を対象物検出リストに保存して、ステップＳ１９に進む。
【００４４】
ステップＳ１９では、検出部２４は、探索ウィンドウを画像全体でスキャンして画像全体の探索が終了したかを判定し、探索が終了したときはステップＳ２０に進み、探索が終了していないときは探索ウィンドウの位置を１ステップずらしてステップＳ１４に戻る。そして、再びステップＳ１３からステップＳ１９までの処理が繰り返し実行される。探索ウィンドウが画像全体を探索すると、ステップＳ２０に進む。
【００４５】
ステップＳ２０では、検出部２４は、すべてのサイズの探索ウィンドウを使用したかを判定し、肯定判定の場合はステップＳ２１に進み、否定判定のときは探索ウィンドウのサイズを変更してステップＳ１３に戻る。そして、再びステップＳ１３からステップＳ２０までの処理が繰り返し実行され、すべてのサイズの探索ウィンドウで探索が終了すると、ステップＳ２１に進む。
【００４６】
ステップＳ２１では、結果出力部２５は、検出結果として、対象物検出リストにある探索ウィンドウのサイズ及び位置に基づいて、検出された対象物をウィンドウで囲んで表示する。なお、結果出力部２５は、上記の例に限らず、例えば対象物の有無の情報、対象物画像、対象物位置の少なくとも１つを音声または画像により出力してもよい。
【００４７】
以上のように、対象物検出装置は、対象物までの距離が近くなるに従って、すなわち探索ウィンドウのサイズが大きくなるに従って、輪郭部分の階調差の少ない、つまりぼかし度合いの大きい画像を使用して対象物を検出する。これにより、対象物検出装置は、対象物までの距離に影響されることなく、また、対象物までの距離毎の学習モデルを用意することなく、対象物を精度良く検出することができる。
【００４８】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。
【００４９】
本実施形態では、ぼかし処理としてガウシアンフィルタ処理を用いたが、ぼかし処理はこれに限定されるものではなく、メディアンフィルタ処理、縮小処理を用いてもよい。
【００５０】
また、ぼかしの程度については上述した例に限定されるものではなく、異なるフィルタサイズのガウシアンフィルタ処理を用いてもよい。さらに、複数のフィルタサイズのメディアンフィルタ処理を用いてもよい。ここで、画像内の対象物のサイズが大きい場合、ガウシアンフィルタ処理、メディアンフィルタ処理を行うとよく、画像内の対象物のサイズが小さい場合、シャープネス処理を行うとよい。
【００５１】
なお、対象物検出装置は、学習用前処理部１１、学習部１２を経て生成された学習モデルを用いて対象物を検出する場合、上記実施形態のように検出用前処理部２２で前処理された画像を用いてもよいし、前処理のされていない画像を用いて対象物を検出してもよい。
また、対象物検出装置は、検出用前処理部２２を経た画像を用いて対象物を検出する場合、上記実施形態のように学習用前処理部１１、学習部１２を経て生成された学習モデルを用いてもよいし、前処理のされていない学習用画像を用いて対象物を検出してもよい。
【図面の簡単な説明】
【００５２】
【図１】様々なサイズの探索ウィンドウ画像と対象物検出結果を示す図である。
【図２】対象物まで遠い、近い、中間の場合の探索ウィンドウ画像と２次元ＦＦＴのスペクトルパターンを示す図である。
【図３】２次元ＦＦＴのスペクトルパターンの高周波部分を示す図である。
【図４】７×７ガウシアンフィルタ処理をしていない場合及びその処理をしている場合の２次元ＦＦＴのスペクトルパターン、検出性能が良いサイズの探索ウィンドウ画像の２次元ＦＦＴのスペクトルパターンを示す図である。
【図５】最適な前処理の探し方を説明する図である。
【図６】本発明の実施の形態に係る対象物検出装置の構成を示すブロック図である。
【図７】学習処理ルーチンを示すフローチャートである。
【図８】対象物検出ルーチンを示すフローチャートである。
【符号の説明】
【００５３】
１１  学習用前処理部
１２  学習部
１３  学習モデル記憶部
２１  撮像部
２２  検出用前処理部
２３  ウィンドウ抽出部
２４  検出部
２５  結果出力部
【図６】
0005220482.tif 000002
【図７】
0005220482.tif 000003
【図８】
0005220482.tif 000004
【図１】
0005220482.tif 000005
【図２】
0005220482.tif 000006
【図３】
0005220482.tif 000007
【図４】
0005220482.tif 000008
【図５】
0005220482.tif 000009