(57)【要約】【課題】被写体の認識精度を向上する。【解決手段】画像処理装置であって、撮影対象に対する距離情報を取得する取得部と、撮影対象の画像を入力画像として取得する画像入力部と、距離情報に基づいて、入力画像の領域ごとに当該領域のサイズを変倍した１以上の変換画像を生成する画像生成部と、変換画像を用いて入力画像から特定物体を検出する検出部と、を備える。【選択図】  図１
2014142832.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象に対する距離情報を取得する取得手段と、
前記撮影対象の画像を入力画像として取得する画像入力手段と、
前記距離情報に基づいて、前記入力画像の領域ごとに当該領域のサイズを変倍した１以上の変換画像を生成する画像生成手段と、
前記変換画像を用いて前記入力画像から特定物体を検出する検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像生成手段は、前記入力画像の領域ごとに、前記距離情報の距離が近いほど小さいサイズの変換画像を生成し、前記距離情報の距離が遠いほど大きいサイズの変換画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記距離情報は距離マップであり、
前記距離マップと前記入力画像との間で位置合わせを行う位置合わせ手段をさらに備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記入力画像に対して光学特性に基づいて幾何補正を行う幾何補正手段をさらに備えることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記画像生成手段は、前記入力画像の領域のうち、対応する距離情報が存在しない領域については、予め定められた複数の倍率の全てで変換画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記特定物体とは、人体、顔、頭部、車、または動物であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
取得手段と、画像入力手段と、画像生成手段と、検出手段とを備える画像処理装置の制御方法であって、
前記取得手段が、撮影対象に対する距離情報を取得する取得工程と、
前記画像入力手段が、前記撮影対象の画像を入力画像として取得する画像入力工程と、
前記画像生成手段が、前記距離情報に基づいて、前記入力画像の領域ごとに当該領域のサイズを変倍した１以上の変換画像を生成する画像生成工程と、
前記検出手段が、前記変換画像を用いて前記入力画像から特定物体を検出する検出工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項８】
請求項７に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、入力画像を拡大縮小したピラミッド画像を用いた特定物体検出の手法が数多く提案されている。
【０００３】
特許文献１では、画像処理装置に、所定領域を撮影して得られた画像を入力する画像入力部を介して入力した画像内の対象物候補領域の大きさの値を検出する。そして、当該検出した対象物候補領域の大きさの値と識別器にセットする基準値とで、画像を拡大縮小する倍率を決めて、当該倍率で画像を拡大縮小する。基準値に対応した枠を拡大縮小した画像上を移動して枠内の画像を抽出し、該枠内の画像と、基準値に対応した顔を検出可能にした顔検出用の識別器とで顔検出を行うことが提案されている。
【０００４】
特許文献２では、ピラミッド画像生成部は、撮像を行うカメラから検出対象とすべき被写体までの距離に応じて予め設定された倍率により、撮像画像を縮小又は拡大して、被写体の検出に用いるピラミッド画像を生成する。検出領域決定部は、ピラミッド画像上の全領域の中から、被写体を検出するための検出領域を決定し、被写体検出部は、検出領域から被写体を検出する手法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１９１７６０号公報
【特許文献２】特開２０１１−５３９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の構成では、高画素センサを用いた望遠の撮像画像の場合には照明が届かないため輝度差が起きないという問題があった。また、雨や雪など背景が照明を反射しすぎる場合には、輝度差の計測が難しいという問題もあった。
【０００７】
また特許文献２の構成では、自然画の全体撮像画像と、全体距離マップ（Depthマップとも言う）間の各々画角が同じでないと撮像画像のピラミッド画像を適切に選択できないという問題があった。また、特許文献１と同様に高画素センサを用いた望遠の撮像画像の場合には、レンジファインダーの視差が大きくなってしまうという問題もあった。
【０００８】
上記の課題に鑑み、本発明は、画像処理装置と距離センサとの連携により、より適切にピラミッド画像の選択を可能とし、被写体の認識精度を向上した画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成する本発明に係る画像処理装置は、
撮影対象に対する距離情報を取得する取得手段と、
前記撮影対象の画像を入力画像として取得する画像入力手段と、
前記距離情報に基づいて、前記入力画像の領域ごとに当該領域のサイズを変倍した１以上の変換画像を生成する画像生成手段と、
前記変換画像を用いて前記入力画像から特定物体を検出する検出手段と、
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、被写体の誤検出を低減し、より高速な被写体検出が可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態に係る画像処理装置の構成を示すブロック図。
【図２】第１実施形態に係る画像処理装置の入力画像を拡大縮小した検出対象縮小・拡大変換画像にて人体検出を行う図。
【図３】第１実施形態に係る画像処理装置の入力全画素読出しデータの図。
【図４】第１実施形態に係る距離センサからの距離マップとしての深度図。
【図５】第１実施形態に係る全画素読出し画像と深度図の解像度等の対応をとり、各領域での探索レイヤを分析した表の図。
【図６】第１実施形態に係る画像処理装置の動作手順を示すフローチャート。
【図７】第２実施形態に係る画像処理装置の構成を示すブロック図。
【図８】第２実施形態に係る画像処理装置で、広角光学系を用いた際の入力全画素読出しデータの図。
【図９】第２実施形態に係る画像処理装置で、動体領域検出後のある人体候補領域を切出した画像から作成した各レイヤ画像を示す図。
【図１０】第２実施形態に係る画像処理装置の動作手順を示すフローチャート。
【図１１】第２実施形態に係る全画素読出し画像と深度図の位置関係の図。
【発明を実施するための形態】
【００１２】
（第１実施形態）
以下、図１乃至図６を参照して、本発明の第１実施形態を説明する。図１は、第１実施形態に係る画像処理装置１０のブロック構成図である。画像処理装置１０は、画像入力部１１と、記憶部１２と、入力部１３と、距離センサ１４と、距離センサ入力部１５と、人体検出部１６と、画像サイズ変倍部１７と、外部出力部１８とを備え、不図示のＣＰＵにより動作を制御される。
【００１３】
画像入力部１１は、イメージセンサ等から画像を取得する際に、一部分のみを切出して入力画像として取得する機能を有する。記憶部１２は、画像入力部１１に接続されたセンサ等の設定値を保存したり、画像入力部１１や距離センサ入力部１５に指示する領域情報を保存したり、各種パラメータを保存したりする。入力部１３は、各種設定値や、領域指定等の入力を行う。距離センサ１４は、測距機能を有し、画像処理装置１０から撮影対象までの距離を測定する。距離センサ入力部１５は、距離センサ１４からデータを取得して深度図を作成するとともに、画像処理装置１０の処理に合うように位置合わせ補正等を行う。
【００１４】
人体検出部１６は、特定物体としての人体を検出する場合に、基準となる人体の照合パターンを用いて、入力画像が縮小・拡大変換された複数の画像内で人体の検出を行う。画像サイズ変倍部１７は、入力画像のサイズを指定された任意のサイズに、もしくは指定された任意の倍率で変換した画像を生成する。外部出力部１８は、人体検出部１６によって検出された結果を外部に出力する。
【００１５】
ここで、距離センサ１４は、測距方式に応じた様々な距離センサであってもよい。本実施形態では、赤外線のドットパターンを照射してその状況を赤外カメラで捉えて分析し、距離情報を抽出する距離センサを用いる。また、本実施形態に係る画像処理装置１０は、画像入力部１１に接続された画像入力装置（図示せず）とほぼ一体となる位置にあることを想定している。そのため、画像入力装置（図示せず）からの距離は、距離センサ１４により測距される距離と同じとみなすことができる。
【００１６】
本実施形態では、特定物体として人体を検出することを例にしている。そのため、人体検出部１６は、異なる大きさの人体を検出するため、次の処理を行う。
【００１７】
まず、基準となる人体の照合パターンに人体候補領域の大きさが合うように、入力画像をあらかじめ設定した倍率で縮小もしくは拡大変換した複数枚の画像（レイヤ画像と呼ぶ）を画像サイズ変倍部１７により生成する。そして、レイヤ画像と照合パターンとのパターンマッチングを行って人体を検出する。
【００１８】
図２を参照して、第１実施形態に係る画像処理装置１０が実施する人体検出処理の概要を説明する。図２において、２１は、基準となる人体の照合パターンである。この照合パターン２１を対象となるレイヤ画像上をラインスキャンして人体の検出を行う。本実施形態では、画像入力部１１から領域指定して切出した入力画像を、あらかじめ設定した倍率で画像サイズ変倍部１７により縮小もしくは拡大した複数枚の画像を用いる。当該縮小もしくは拡大した複数枚の画像である２０、２２、２３をレイヤ画像と呼ぶ。レイヤ画像は、あらかじめ設定した倍率で繰り返し入力画像を縮小（もしくは拡大）変換した画像のことを指す。ここでは画像２０をレイヤ１、画像２２をレイヤ２、画像２３をレイヤ３と呼ぶ。
【００１９】
図２のように、個々のレイヤ画像に対し、基準となる人体の照合パターン２１をラインスキャンすることで、異なる大きさの人体を検出することが可能である。なお、一般的には、基準となる人体の照合パターン２１の大きさと入力画像のサイズとがほぼ同じになるまで、あらかじめ設定した倍率で複数回縮小又は拡大した画像（レイヤ画像）を生成する。そして複数のレイヤ画像を用いて、レイヤ画像を取り換えながら人体検出処理を繰り返し行う。
【００２０】
本実施形態では、あらかじめ設定した倍率で、入力画像を基準となる人体の照合パターン２１の大きさと、入力画像のサイズとがほぼ同じになるまで縮小変換する処理を行うことはせず、当該処理に代えて、選択した倍率の縮小画像のみを画像サイズ変倍部１７により生成するように構成する。詳細は後述する。
【００２１】
図３は、第１実施形態に係る画像入力部１１における全画素読出しデータの一例を示す図である。グレーの部分は道路を模式した領域である。斜め左後ろから道路を斜め右方向に向かって、画像入力装置（図示せず）により撮像した場合の図である。画像３０に示すように、全画素読出しの画像データを例えば縦３横４の領域に分割することで、人体検出部１６が１度に行う処理の負荷を軽減させることができる。番号３１は、分割した各画像の領域に便宜上付与した番号を指す。また、人体候補３２および３３は、各々異なる大きさの人体候補を示している。
【００２２】
ここで、人体が現れやすくかつ人体検出を行いたい領域を例えば、２．２、２．３、３．２、３．３の４つの領域であるとして入力部１３を通じて記憶部１２に設定し保存しておく。そうすることで、人体検出部１６における人体検出処理の処理領域を限定することができる。そのため、より高速にかつ誤検出を減らした人体検出処理が可能となる。
【００２３】
図４は、第１実施形態に係る距離センサにより測距したデータをマップにした深度図の一例である。画像４０は、距離センサ１４から入力された深度図である。色の濃さは、距離の近さを表している。すなわち、ａが一番近く、ｆが一番遠いことを表している。番号４１は、全画素読出しデータである画像３０にならって、深度図を縦３横４に分割した場合の領域に付与した番号を示す。画像４０のように、画像４０と全画素読出しデータとの画角がほぼ同じ場合は、同じ縦横分割した領域が、画像４０の画像領域の深度情報として参照可能である。この例では、深度情報４２は、人体候補３２に対応した深度情報、深度情報４３は、人体候補３３に対応した深度情報となる。また、この例では、図３および図４において、各領域に付与した番号であるアラビア数字の１から４は、ローマ数字のＩからＩＶと、それぞれ対応している。
【００２４】
しかしながら、全画素読出しデータと深度図との位置関係が異なる場合や、検知できる距離精度が、全画素読出しデータとして撮像された領域と同じにならない場合が存在する。当該場合については、第２実施形態で詳述する。
【００２５】
図５は、第１実施形態に係る全画素読出しデータの画像３０と深度図の画像４０との位置及び解像度の対応をとって、特定物体（本実施形態では人体）の探索レイヤ画像を分析・算出した結果をまとめた表である。
【００２６】
全画素読出しデータの画像３０の各領域に対応した深度図の画像４０の深度情報に基づいて、全画素読出しデータの画像３０の領域（Region）毎の深度情報(Depth)に対応した人体検出処理レイヤ画像(Layer)を計算した結果を表にしている。人体検出処理レイヤ画像は、大きい画像の方を１と番号を付け、あらかじめ設定した倍率で５段階縮小した１から６の６つのレイヤ画像を用いる。なお、この表に示す関係は固定値として設定していてもよいが、リアルタイムに計算し刻々と値が変化するようにしてもよい。詳細は図６のフローチャートを参照しながら後述する。
【００２７】
ここで図６は、第１実施形態に係る画像処理装置１０の動作手順を示すフローチャートである。
【００２８】
図６において、最初に、入力部１３より画像処理装置１０に接続された画像入力装置（図示せず）のパラメータとしての最大入力画角（解像度）と、注目画角としての部分画角領域を入力して記憶部１２に保存する。ここで部分画角領域は、画像入力装置としての例えばＣＭＯＳセンサ等における、画像部分切出し領域として設定する。昨今のイメージセンサの多画素化により、全画素の読出し（最大入力画角読出し）による画像処理の負荷が増大しており、部分的に切出した画像を用いることで、画像処理の負荷を減らし、処理速度の向上を図ることができる。また、距離センサ入力部１５での深度情報の計算に必要な、距離センサ１４の深度図の縦横サイズ、最長探索距離等の距離センサ１４に関する各種測距パラメータを、入力部１３により記憶部１２に設定して保存する（Ｓ１００）。
【００２９】
距離センサ入力部１５は、距離センサ１４から入力された各種測距データから距離マップである深度図の画像４０を作成し、記憶部１２に保存する（Ｓ１０１）。
【００３０】
次に、入力部１３により設定された距離センサ１４の各種距離測距パラメータと、画像入力装置(図示せず)の最大入力画角とに基づいて、次の処理を実行する。すなわち、距離情報である距離マップとしての深度図の画像４０と、入力画像としての全画素読出しデータの画像３０とが対応しているか否かを判定する（Ｓ１０２）。
【００３１】
対応していると判定された場合は（Ｓ１０２；ＹＥＳ）、全画素読出しデータの画像３０と深度図の画像４０との位置合わせを行う（Ｓ１０３）。一方、対応していないと判定された場合は（Ｓ１０２；ＮＯ）、Ｓ１０５へ進む。
【００３２】
位置合わせを行った後に、人体検出部１６は、記憶部１２に保存された距離マップとしての深度図の画像４０と、画像入力装置（図示せず）からの最大入力画角（解像度）情報とに基づいて、以下の処理を行う。すなわち、図５における、全画素読出しデータの画像３０の領域（Region）毎に深度（Depth）に対応する人体検出処理レイヤ（Layer）を生成し、生成した領域毎のレイヤ対応表を記憶部１２に保存する（Ｓ１０４）。
【００３３】
当該対応表の作成は、画像入力装置（図示せず）から撮影対象までの距離が離れる（深度が深い）ほど、特定物体としての人体の大きさが小さく撮像されるという特徴を用いて算出する。また、画像入力装置（図示せず）を向けた方向により人体がその周りの地面より近く撮像されるという特徴等を用いて算出する。入力画像の領域ごとに、距離情報の距離が近いほど小さいサイズのレイヤ画像（変換画像）を生成し、距離情報の距離が遠いほど大きいサイズのレイヤ画像（変換画像）を生成する。
【００３４】
なお本実施形態では、入力画像を等分に区切った領域の中で、検出される人体の大きさの変動も考慮し、レイヤ画像選択に振れ幅を持たせている。例えば、図５のＲ（１，１）は、距離情報である深さDepthがｆとなっていて、かなり深い、つまり距離が遠いことがわかる。遠い距離に撮像される特定物体としての人体は、比較的小さく撮像されるという特徴がある。小さく撮像された人体候補領域は、図２の基準となる人体の照合パターン２１をパターンマッチングして行う人体検出処理において、画像を縮小しない（ないし拡大する）レイヤ画像を用いた方が検出されやすい。そのため、入力画像から切出す領域としてのＲ（１，１）には、大きいレイヤ画像である１−２を選択して画像生成する。このようにして、距離センサ１４から取得される距離情報に基づいて、入力画像の領域ごとに当該領域のサイズを変倍した１以上の変換画像を生成する。
【００３５】
本実施形態では、入力画像を等分に区切った領域を用いているが、任意の位置の特定領域を指定して、深度（Depth）と対応する人体検出レイヤ（Layer）画像を選択して画像生成するようにしてもよい。
【００３６】
また、画像入力部１１は、入力部１３により記憶部１２に保存された注目部分画角領域情報を読み出して、該注目部分画角領域情報を用いて、画像入力装置(図示せず)から取得した画像から注目部分画像を切出して取得する（Ｓ１０５）。
【００３７】
注目部分画像を切出して取得した画像入力部１１は、人体検出部１６に該注目部分画像を送る。注目部分画像を受信した人体検出部１６は、以下の処理を実行する。すなわち図５に示すようなレイヤ画像対応表から人体検出対象レイヤ画像を選択する（Ｓ１０６）。なお、Ｓ１０２でＮｏであると判定された場合は、レイヤ対応表が未作成であるため、全レイヤ画像を選択することになる。
【００３８】
Ｓ１０６で選択されたレイヤ画像に基づいて、Ｓ１０５で取得した注目部分画像から、図２を参照して説明したように画像サイズ変倍部１７により変換画像の生成を行い、各選択レイヤ画像を生成する。その後、図２で説明したようにして人体検出を行う（Ｓ１０７）。
【００３９】
そして人体検出部１６により人体が検出されたか否かの判定を行う（Ｓ１０８)。
【００４０】
人体検出部１６において人体が検出された場合、その検出結果が外部出力部１８を介して外部に通知される（Ｓ１０９）。その後、人体検出スキャンを終了するか否かを判定し（Ｓ１１０）、終了しない場合にはＳ１０１に戻り、繰り返し処理を行う。
【００４１】
以上説明したように、距離センサから取得した距離情報を用いて適切に縮小画像を選ぶことで処理負荷を低減することができる。
【００４２】
（第２実施形態）
図７は、第２実施形態に係る画像処理装置のブロック構成図である。画像処理装置７０は、画像入力部１１と、記憶部１２と、入力部１３と、距離センサ入力部１５と、人体検出部１６と、画像サイズ変倍部１７と、外部出力部１８と、動体領域検出部１９と、幾何補正部２０とを備える。なお、本実施形態では距離センサ１４は画像処理装置７０とは別に構成されている。画像処理装置７０は、第１実施形態に係る画像処理装置１０の構成のうち距離センサ１４を除く構成要素に加えて、動体領域検出部１９と、幾何補正部２０とをさらに備えている。
【００４３】
動体領域検出部１９は、入力画像における動体を検知する。幾何補正部２０は、光学特性に基づく幾何変換パラメータを用いて入力画像の幾何補正を行う。その他の構成要素は第１実施形態と同様であるため説明を省略する。
【００４４】
図８は、本第２実施形態に係る広角光学系を備えた画像入力装置（図示せず）からの入力画像データを示す図である。この入力画像データは、第１実施形態における図３と同じ方向に画像入力装置を向けて撮像した図であり、灰色の歪んだ円弧の部分は道路を模式した領域である。
【００４５】
全画素読出しデータの画像８０において、動体領域検出部１９により単独（１つ）の動体が検知される場合の動体検出枠を示す動体領域情報８１、および当該動体が特定物体（ここでは人体）候補であることを示す人体候補領域８２が示されている。本実施形態では、広角レンズを用いた画像入力装置（図示せず）を想定した入力画像となっているため、画像周辺部が歪んで撮像される。この画像の歪みは、光学特性に基づいた幾何変換パラメータを用いて、幾何補正部２０により幾何補正を行うことで、歪みを補正した正視図を変換生成することが可能である。また、広角レンズを用いた画像入力装置（図示せず）は画像処理装置７０から離れて配置される場合があるため、画像入力装置（図示せず）の近くから測距できるように距離センサ１４が画像処理装置７０の外に出た構成となっている。
【００４６】
図９は、第２実施形態に係る画像処理装置において、動体領域検出後のある人体候補領域を切出した画像から作成した各レイヤ画像を示す。図９は、図８における人体候補領域８２を画像入力部１１の画像切出し取得機能により切り出し、切り出した部分入力画像を光学特性に基づく幾何変換パラメータを用いて幾何補正部２０で幾何補正したものである。そして幾何補正された部分入力画像（人体候補領域画像９０）を、入力部１３を通じてあらかじめ設定した倍率で、画像サイズ変倍部１７により縮小もしくは拡大変換し、複数枚の画像（複数枚のレイヤ画像）を作成する。図９の例では９−３〜９−６の４枚のレイヤ画像が作成される。
【００４７】
ここで図１０は、第２実施形態に係る画像処理装置の動作手順を示すフローチャートである。以下、距離マップとしての深度図は図４を参照し、図７〜図１１を用いて、画像処理装置７０の動作手順を詳細に説明する。
【００４８】
最初に、入力部１３より、画像処理装置７０に接続された広角光学系を備えた画像入力装置（図示せず）の最大入力画角（解像度）、幾何補正後の画角、及び、幾何補正のための各種光学特性に基づく幾何変換パラメータを入力して、記憶部１２に保存する（Ｓ２００）。Ｓ２０１の処理はＳ１０１の処理と同様である。
【００４９】
次に、入力部１３により設定された距離センサ１４の各種距離測距パラメータ、画像入力装置(図示せず)の最大入力画角、及び、幾何補正後の画角に基づいて、次の処理を実行する。すなわち、距離センサ入力部１５は、距離情報である距離マップとしての深度図の画像４０と、入力画像としての全画素読出しデータの画像８０を幾何補正部２０により幾何補正した幾何補正画像（図示せず）とが対応するか否かを判定する（Ｓ２０２）。
【００５０】
対応可と判定された場合は、全画素読出しデータの画像８０を幾何補正部２０により幾何補正した幾何補正画像（図示せず）と、深度図の画像４０との位置合わせを行う（Ｓ２０３）。一方、対応不可と判定された場合は、位置合わせは行わず、深度図は不定となる。
【００５１】
また、画像入力部１１は、動体領域検出部１９によって検出された動体領域情報８１を読み出して、動体領域情報８１が人体候補領域であるとみなし、次の処理を実行する。すなわち、画像入力装置（図示せず）より、人体候補領域画像８２（人体候補領域部分画像）を切出して取得する（Ｓ２０４）。
【００５２】
ここで、図８に示すように、人体候補領域画像８２が動体領域情報８１より大きいサイズなのは、人体検出において、基準となる人体の照合パターンにおける余白の部分以上に大きくなければならないためである。また、次の幾何補正の際にも画像サイズが変わってしまうことがあるため、マージンを見て該動体領域情報８１より大きめに人体候補領域画像８２を切出す必要がある。
【００５３】
その後、幾何補正部２０は、入力部１３によって設定された幾何変換のための各種光学特性に基づく幾何変換パラメータを用いて、人体候補領域部分画像の幾何補正を行い、幾何補正した画像データを生成する。そして、幾何補正した画像データと当該動体位置情報とを、共に人体検出部１６に送信する（Ｓ２０５）。
【００５４】
ここで図９に示すように幾何補正された人体候補領域画像９０及び動体位置情報を受信した場合を考える。人体検出部１６は、以下の処理を実行する。すなわち、距離マップとしての深度図の画像４０を記憶部１２より読み出して、該人体候補領域画像９０の動体位置情報が、深度図の画像４０の範囲内にあるか否かを判定する（Ｓ２０６）。
【００５５】
人体候補領域画像９０の動体位置情報が深度図の画像４０の範囲内にある場合は、距離センサ入力部１５により位置合わせされた深度図の画像４０を記憶部１２より読み出し、この深度図の画像４０と該人体候補領域画像９０及び動体位置情報に基づいて、人体検出対象レイヤ画像を選択する。当該人体検出対象レイヤ画像の選択は、画像処理装置からの距離が離れるほど人体の大きさが小さく撮像されるという特徴等を用いて選択するが、詳細は後述する。その後、選択された人体検出対象レイヤ画像に基づいて、人体候補領域画像９０から図２で説明したように画像サイズ変倍部１７により変換画像の生成を行う。これにより各選択レイヤ画像が生成される（Ｓ２０７）。
【００５６】
本実施形態では、各選択レイヤ画像は、図９に示すように、９−３から９−６の４つのレイヤ画像として、画像サイズ変倍部１７により変換生成される。当該４つのレイヤ画像が選択生成されたのは、次の理由による。撮像されて幾何補正された人体候補領域画像９０と深度図の画像４０の情報により、人体候補領域画像９０が、距離が近いところに存在することがわかる。距離が近いところに存在する特定物体としての人体は、比較的大きく撮像されるという特徴がある。したがって、基準となる人体の照合パターン２１でラインスキャンを行って人体検出をするにあたり、人体候補領域画像９０をより小さく縮小した画像の方が、基準となる人体の照合パターン２１にマッチしやすい。そのため、人体候補領域画像９０を比較的小さく縮小した９−３から９−６の４つのレイヤ画像が、画像サイズ変倍部１７により変換生成される。そして、当該４つのレイヤ画像を用いて、図２で説明したように人体検出処理が行われる。
【００５７】
一方、人体候補領域画像９０の動体位置情報が深度図の画像４０の範囲外にある場合とは、図１１のような場合である。図１１は、画像入力部１１の全画素読出しデータの画像３０が幾何補正部２０により幾何補正された幾何補正画像が、深度図の画像４０より広範囲である場合を模式的に表した図である。なお、第１実施形態のように画像入力部１１の全画素読出しデータの画像３０が距離マップとしての深度図の画像４０より広範囲である場合を模式的に表した場合も同様である。領域１１０の部分が、当該画像３０が幾何補正部２０により幾何補正された幾何補正画像に相当し、領域１１２の部分が距離マップとしての深度図の画像４０に相当する。
【００５８】
このように人体候補領域画像９０の動体位置情報が深度図の画像４０の範囲外にある場合は以下の処理を行う。すなわち、人体候補領域画像９０及び動体位置情報により、全レイヤ画像を選択するとともに、人体候補領域画像９０から図２の説明の通り画像サイズ変倍部１７により変換画像の生成を行い、全選択レイヤ画像を生成する（Ｓ２０８）。このように、入力画像の領域のうち、対応する距離情報が存在しない領域については、予め定められた複数の倍率の全てでレイヤ画像（変換画像）を生成する。
【００５９】
次に、生成された各選択レイヤ画像を用いて、図２の説明の通り人体検出処理を実施する（Ｓ２０９）。
【００６０】
そして人体検出部１６により人体が検出されたか否かの判定を行う（Ｓ２１０)。
【００６１】
人体検出部１６において人体が検出された場合、その検出結果が外部出力部１８を介して外部に通知される（Ｓ２１１）。その後、人体検出スキャンを終了するか否かを判定し（Ｓ２１２）、終了しない場合にはＳ２０１に戻り、繰り返し処理を行う。
【００６２】
以上説明したように、本実施形態によれば、被写体の誤検出を低減し、より高速な被写体検出が可能となる。
【００６３】
なお、本発明は上記各々の実施形態に限定されるものではなく、さらに以下のような変形が可能である。
【００６４】
第１実施形態及び第２実施形態において、特定物体として人体を用いているが、特定物体としてはこの限りでなく、顔、頭部、車、又は動物などの物体であってもよい。第１実施形態及び第２実施形態において、画像入力装置（図示せず）として、ＣＭＯＳセンサやＣＣＤセンサ等の半導体センサやそれ以外のイメージセンサを用いる構成であってもよい。
【００６５】
第２実施形態において、複数の動体が検知された場合には、ユーザにより注視動体を指定する構成としてもよいし、所定の条件下で自動的に指定される構成であってもよいし、ある動体から一定時間毎に注視動体を別の動体へ切り替えてもよい。所定の条件としては、内周から順に、外周から順に、動体のサイズ順に、または動体の速度順に、等が考えられる。
【００６６】
第２実施形態においては、広角光学系を備えた画像入力装置（図示せず）からの広角レンズ入力画像を用いて処理を行っているが、これに限定することなく、魚眼レンズや全方位ミラー等の広角光学系を備えたものであってもよい。全周魚眼レンズや全方位ミラーの場合は、距離センサも全方位測距できるもので対応可能である。また第２実施形態において、動体領域検出部１９を画像入力装置（図示せず）とは別体として構成しているが、画像入力装置（図示せず）が動体領域検出部１９を兼ねる構成であってもよい。
【００６７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014142832.tif 000003
【図２】
2014142832.tif 000004
【図５】
2014142832.tif 000005
【図６】
2014142832.tif 000006
【図７】
2014142832.tif 000007
【図１０】
2014142832.tif 000008
【図１１】
2014142832.tif 000009
【図３】
2014142832.tif 000010
【図４】
2014142832.tif 000011
【図８】
2014142832.tif 000012
【図９】
2014142832.tif 000013