(57)【要約】【課題】画像に含まれる特定の物体を適切に検出する。【解決手段】画像縮小部２３２は、画像取得部２３１から出力された撮像画像について、予め定められている割合で順次縮小させ、大きさの異なる複数の画像を生成する。画像取出部２３３は、画像縮小部２３２から出力された各画像について、画像毎に所定領域に含まれる画像（判定対象画像）を順次取り出す。ＨＯＧ算出部２３４は、人体検出辞書記憶部３００に記憶されている人体検出辞書を用いて、画像取出部２３３から出力された判定対象画像における複数の領域を特定して、各領域についてＨＯＧを算出する。人体判定部２３５は、人体検出辞書記憶部３００に記憶されている人体検出辞書を用いて、算出されたＨＯＧの所定の階級の差分値を算出し、この差分値に基づいて、画像取出部２３３から出力された画像に人体が含まれるか否かを判定する。【選択図】図３
2010067102.tif 000002
【特許請求の範囲】
【請求項１】
画像における複数の領域について輝度の勾配強度および勾配方向を算出して当該算出された輝度の勾配方向に対する輝度の勾配強度の度数分布を前記領域毎に算出する算出部と、
前記領域毎に算出された複数の度数分布を比較することにより前記画像に特定の物体が含まれるか否かを判定する判定部と
を具備する物体検出装置。
【請求項２】
前記算出部は、前記画像において予め設定されている第１領域および第２領域について前記度数分布をそれぞれ算出し、
前記判定部は、前記第１領域について算出された度数分布の階級のうち予め設定されている１つの階級の値と前記第２領域について算出された度数分布の階級のうち予め設定されている１つの階級の値とを比較することにより前記画像に特定の物体が含まれるか否かを判定する
請求項１記載の物体検出装置。
【請求項３】
前記算出部は、前記第１領域に係る前記度数分布および前記第２領域に係る前記度数分布の組合せを複数算出し、
前記判定部は、前記第１領域について算出された度数分布の階級のうち予め設定されている１つの階級の値と前記第２領域について算出された度数分布の階級のうち予め設定されている１つの階級の値とを前記組合せ毎に比較することにより前記画像に特定の物体が含まれるか否かを判定する
請求項２記載の物体検出装置。
【請求項４】
前記判定部は、前記第１領域について算出された度数分布の階級のうち予め設定されている１つの階級の値と前記第２領域について算出された度数分布の階級のうち予め設定されている１つの階級の値との差分値を算出して当該差分値に基づいて前記画像に特定の物体が含まれるか否かを判定する
請求項２記載の物体検出装置。
【請求項５】
前記第１領域および前記第２領域は前記画像において互いに重複しない領域である請求項２記載の物体検出装置。
【請求項６】
前記画像における領域の位置である第１位置と、前記度数分布の階級のうちの１つの階級である第１階級と、前記画像における領域の位置であって前記第１位置とは異なる位置である第２位置と、前記度数分布の階級のうちの１つの階級である第２階級と、閾値と、重みの値との組合せを含む判定情報を複数記憶する判定情報記憶部をさらに具備し、
前記算出部は、前記第１位置により特定される領域に係る前記度数分布である第１度数分布と前記第２位置により特定される領域に係る前記度数分布である第２度数分布とを前記判定情報毎に算出し、
前記判定部は、前記第１度数分布の階級のうちの前記第１階級の値と前記第２度数分布の階級のうちの前記第２階級の値との差分値を算出して当該差分値と前記閾値とを比較して当該比較された結果に基づく前記重みの値の演算を前記判定情報毎に行うことにより評価値を算出して当該評価値に基づいて前記画像に特定の物体が含まれるか否かを判定する
請求項１記載の物体検出装置。
【請求項７】
前記特定の物体は人体である請求項１記載の物体検出装置。
【請求項８】
被写体を撮像して撮像画像を生成する撮像部と、
前記撮像画像から判定対象となる判定対象画像を取り出す画像取出部と、
前記判定対象画像における複数の領域について輝度の勾配強度および勾配方向を算出して当該算出された輝度の勾配方向に対する輝度の勾配強度の度数分布を前記領域毎に算出する算出部と、
前記領域毎に算出された複数の度数分布を比較することにより前記判定対象画像に特定の物体が含まれるか否かを判定する判定部と
を具備する撮像装置。
【請求項９】
画像における複数の領域について輝度の勾配強度および勾配方向を算出して当該算出された輝度の勾配方向に対する輝度の勾配強度の度数分布を前記領域毎に算出する算出手順と、
前記領域毎に算出された複数の度数分布を比較することにより前記画像に特定の物体が含まれるか否かを判定する判定手順と
を具備する物体検出方法。
【請求項１０】
画像における複数の領域について輝度の勾配強度および勾配方向を算出して当該算出された輝度の勾配方向に対する輝度の勾配強度の度数分布を前記領域毎に算出する算出手順と、
前記領域毎に算出された複数の度数分布を比較することにより前記画像に特定の物体が含まれるか否かを判定する判定手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置に関し、特に、撮像画像から人体等の特定の物体を検出する物体検出装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置により生成された撮像画像について、この撮像画像に含まれる被写体が何であるかを認識する被写体認識技術が提案されている。この被写体認識技術として、例えば、輝度や色等の特徴量を用いた画像処理により撮像画像から人物の顔を検出する顔検出技術が提案されている。この検出技術を用いて人体を検出することが考えられる。しかしながら、検出対象が人体の場合には、人によって服装の色等が異なることが多いため、輝度や色等の特徴量を用いた画像処理により検出することは困難であることが想定される。
【０００３】
そこで、例えば、対象となる物体の輪郭を用いて人体や車両等の物体を検出する物体検出技術が提案されている。例えば、画像内の複数領域における輝度のヒストグラム（度数分布）の一種である勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）を用いて物体検出を行う技術が提案されている（例えば、非特許文献１参照。）。この勾配方向ヒストグラムは、例えば、対象となる画像を複数の領域に分割し、この各領域について輝度の勾配強度および勾配方向を算出し、これらの輝度の勾配強度および勾配方向に基づいて作成される。
【非特許文献１】"Histograms of Oriented Gradients for Human Detection", Navneet Dalal, 2005.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、例えば、被写体の明暗による検出精度の低下を防止するため、作成された勾配方向ヒストグラムを正規化して、正規化後の勾配方向ヒストグラムを用いて物体検出が行われる。
【０００５】
しかしながら、例えば、デジタルスチルカメラやデジタルスチルカメラ等の撮像装置により生成された撮像画像について、物体検出を行う場合には、この物体検出の精度を高めるとともに、物体検出に係る処理の負荷を軽減させることが重要となる。このように、各態様において、物体検出の精度を高めるとともに、物体検出に係る処理の負荷を軽減させることが重要となる。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、画像に含まれる特定の物体を適切に検出することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、画像における複数の領域について輝度の勾配強度および勾配方向を算出して当該算出された輝度の勾配方向に対する輝度の勾配強度の度数分布を上記領域毎に算出する算出部と、上記領域毎に算出された複数の度数分布を比較することにより上記画像に特定の物体が含まれるか否かを判定する判定部とを具備する物体検出装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、画像における複数の領域について輝度の勾配強度および勾配方向に関する度数分布を算出し、これらの複数の度数分布を比較することにより、画像に特定の物体が含まれるか否かを判定するという作用をもたらす。
【０００８】
また、この第１の側面において、上記算出部は、上記画像において予め設定されている第１領域および第２領域について上記度数分布をそれぞれ算出し、上記判定部は、上記第１領域について算出された度数分布の階級のうち予め設定されている１つの階級の値と上記第２領域について算出された度数分布の階級のうち予め設定されている１つの階級の値とを比較することにより上記画像に特定の物体が含まれるか否かを判定するようにしてもよい。これにより、第１領域について算出された度数分布の階級のうち予め設定されている１つの階級の値と、第２領域について算出された度数分布の階級のうち予め設定されている１つの階級の値とを比較することにより、画像に特定の物体が含まれるか否かを判定するという作用をもたらす。
【０００９】
また、この第１の側面において、上記算出部は、上記第１領域に係る上記度数分布および上記第２領域に係る上記度数分布の組合せを複数算出し、上記判定部は、上記第１領域について算出された度数分布の階級のうち予め設定されている１つの階級の値と上記第２領域について算出された度数分布の階級のうち予め設定されている１つの階級の値とを上記組合せ毎に比較することにより上記画像に特定の物体が含まれるか否かを判定するようにしてもよい。これにより、第１領域について算出された度数分布の階級のうち予め設定されている１つの階級の値と、第２領域について算出された度数分布の階級のうち予め設定されている１つの階級の値とを複数の組合せ毎に比較することにより、画像に特定の物体が含まれるか否かを判定するという作用をもたらす。
【００１０】
また、この第１の側面において、上記判定部は、上記第１領域について算出された度数分布の階級のうち予め設定されている１つの階級の値と上記第２領域について算出された度数分布の階級のうち予め設定されている１つの階級の値との差分値を算出して当該差分値に基づいて上記画像に特定の物体が含まれるか否かを判定するようにしてもよい。これにより、第１領域について算出された度数分布の階級のうち予め設定されている１つの階級の値と、第２領域について算出された度数分布の階級のうち予め設定されている１つの階級の値との差分値を算出し、この差分値に基づいて画像に特定の物体が含まれるか否かを判定するという作用をもたらす。
【００１１】
また、この第１の側面において、上記第１領域および上記第２領域は上記画像において互いに重複しない領域とするようにしてもよい。これにより、互いに重複しない２つの領域について算出された２つの度数分布を用いて、画像に特定の物体が含まれるか否かを判定するという作用をもたらす。
【００１２】
また、この第１の側面において、上記画像における領域の位置である第１位置と、上記度数分布の階級のうちの１つの階級である第１階級と、上記画像における領域の位置であって上記第１位置とは異なる位置である第２位置と、上記度数分布の階級のうちの１つの階級である第２階級と、閾値と、重みの値との組合せを含む判定情報を複数記憶する判定情報記憶部をさらに具備し、上記算出部は、上記第１位置により特定される領域に係る上記度数分布である第１度数分布と上記第２位置により特定される領域に係る上記度数分布である第２度数分布とを上記判定情報毎に算出し、上記判定部は、上記第１度数分布の階級のうちの上記第１階級の値と上記第２度数分布の階級のうちの上記第２階級の値との差分値を算出して当該差分値と上記閾値とを比較して当該比較された結果に基づく上記重みの値の演算を上記判定情報毎に行うことにより評価値を算出して当該評価値に基づいて上記画像に特定の物体が含まれるか否かを判定するようにしてもよい。これにより、第１度数分布の階級のうちの第１階級の値と、第２度数分布の階級のうちの第２階級の値との差分値を算出し、この差分値と閾値とを比較し、この比較された結果に基づく重みの値の演算を判定情報毎に行うことにより評価値を算出し、この評価値に基づいて画像に特定の物体が含まれるか否かを判定するという作用をもたらす。
【００１３】
また、この第１の側面において、上記特定の物体は人体とするようにしてもよい。これにより、画像における複数の領域について輝度の勾配強度および勾配方向に関する度数分布を算出し、これらの複数の度数分布を比較することにより、画像に人体が含まれるか否かを判定するという作用をもたらす。
【００１４】
また、本発明の第２の側面は、被写体を撮像して撮像画像を生成する撮像部と、上記撮像画像から判定対象となる判定対象画像を取り出す画像取出部と、上記判定対象画像における複数の領域について輝度の勾配強度および勾配方向を算出して当該算出された輝度の勾配方向に対する輝度の勾配強度の度数分布を上記領域毎に算出する算出部と、上記領域毎に算出された複数の度数分布を比較することにより上記判定対象画像に特定の物体が含まれるか否かを判定する判定部とを具備する撮像装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像から取り出された判定対象画像における複数の領域について輝度の勾配強度および勾配方向に関する度数分布を算出し、これらの複数の度数分布を比較することにより、判定対象画像に特定の物体が含まれるか否かを判定するという作用をもたらす。
【発明の効果】
【００１５】
本発明によれば、画像に含まれる特定の物体を適切に検出するという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１６】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、レンズ１１１と、撮像部１１２と、システム制御部１２０と、記憶装置部１３０と、外部Ｉ／Ｆ（インターフェース）部１４０と、記録部１５０と、操作入力部１６０と、表示部１７０と、音声出力部１８０と、カメラ制御部２００とを備える。撮像装置１００は、例えば、被写体を撮像して画像データを生成し、この画像データについて画像解析により各特徴量を抽出し、この抽出された各特徴量を用いて各種画像処理を施すことが可能なデジタルスチルカメラによって実現することができる。
【００１８】
レンズ１１１は、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）から構成され、入射された被写体からの光がこれらのレンズを介して撮像部１１２に供給される。
【００１９】
撮像部１１２は、電子シャッター機能を有する撮像素子（図示せず）と、この撮像素子の出力信号を処理して撮像画像（画像データ）を生成する信号処理部（図示せず）とを備える。すなわち、撮像部１１２において、レンズ１１１を介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことにより、撮像画像が生成される。そして、生成された撮像画像が記憶装置部１３０に供給されて記憶される。なお、撮像画像の生成に用いられるカメラパラメータ（撮像パラメータ）が、カメラ制御部２００により順次決定される。
【００２０】
カメラ制御部２００は、記憶装置部１３０を介して撮像部１１２から供給される撮像画像、および、システム制御部１２０からの制御に基づいて、撮像部１１２を制御するものである。なお、カメラ制御部２００については、図２を参照して詳細に説明する。
【００２１】
システム制御部１２０は、撮像装置１００全体の制御を行うものである。例えば、システム制御部１２０は、操作入力部１６０により受け付けられたユーザからの操作入力に応じた制御を行う。また、システム制御部１２０は、表示部１７０に表示されるメニュー画面等の表示、記録部１５０に対する撮像画像の記録や読出し、外部Ｉ／Ｆ部１４０を介して行われる外部コンピュータやネットワークとの通信等を制御する。さらに、システム制御部１２０は、撮像動作中のモニタリング時には、撮像部１１２により生成された撮像画像を表示部１７０に表示させる制御を行う。
【００２２】
記憶装置部１３０は、撮像装置１００のシステム上で撮像画像等を一時的に保存するための主記憶装置であり、例えば、ＤＲＡＭ（Dynamic Random Access Memory）により構成される。すなわち、撮像装置１００内における各部間の撮像画像のやりとりは、主に記憶装置部１３０を介して行われる。
【００２３】
外部Ｉ／Ｆ部１４０は、ＵＳＢ（Universal Serial Bus）等の入出力端子を備える外部インターフェースであり、外部コンピュータとの接続やネットワーク接続のためのインターフェースを提供する。
【００２４】
記録部１５０は、システム制御部１２０の制御に基づいて、撮像部１１２により生成された撮像画像を記録するものである。また、記録部１５０は、システム制御部１２０の制御に基づいて、記録されている撮像画像を読み出してシステム制御部１２０に供給する。記録部１５０として、例えば、フラッシュメモリ等の記録媒体を用いることができる。また、記録部１５０は、撮像装置１００に内蔵するようにしてもよく、着脱可能に撮像装置１００に装着されるようにしてもよい。
【００２５】
操作入力部１６０は、ユーザからの操作入力を受ける操作入力部であり、受け付けられた操作入力に応じた信号をシステム制御部１２０に出力する。例えば、撮像画像の記録を指示するためのシャッターボタンが押下されると、シャッターボタン押下に応じた信号がシステム制御部１２０に出力される。
【００２６】
表示部１７０は、システム制御部１２０の制御に基づいて、各種画像を表示する表示部である。例えば、表示部１７０は、撮像部１１２により生成された撮影画像、記録部１５０から読み出された撮像画像、ユーザに提供されるメニュー画面等を表示する。
【００２７】
音声出力部１８０は、システム制御部１２０の制御に基づいて、各種の音声情報を出力するものである。音声出力部１８０は、例えば、スピーカにより実現することができる。
【００２８】
図２は、本発明の実施の形態におけるカメラ制御部２００の機能構成例を示すブロック図である。図２では、カメラ制御部２００の機能構成例とともに、図１に示す撮像部１１２、システム制御部１２０および記憶装置部１３０の構成についても図示する。カメラ制御部２００は、シーケンス制御部２１０と、カメラパラメータ制御部２２０と、人体検出部２３０と、記憶装置Ｉ／Ｆ２４０とを備える。ここで、記憶装置部１３０およびカメラパラメータ制御部２２０の間、また、記憶装置部１３０および人体検出部２３０の間で行われる撮像画像のやりとりは、記憶装置Ｉ／Ｆ２４０を介して行われる。
【００２９】
シーケンス制御部２１０は、システム制御部１２０からの撮像画像記録待機命令で起動し、撮像部１１２により生成される撮像画像を記録することが可能な状態を保持するものである。この撮像画像記録待機状態では、撮像部１１２により生成される撮像画像が、記憶装置部１３０に順次記憶される。例えば、１／６０秒の間隔で、記憶装置部１３０に記憶される撮像画像が順次更新される。また、シーケンス制御部２１０は、記憶装置部１３０に記憶されている現在の撮像画像（撮像部１１２により生成された最新の撮像画像）に基づいて、カメラパラメータ制御部２２０がカメラパラメータを決定するように制御を行う。また、シーケンス制御部２１０は、記憶装置部１３０に記憶されている現在の撮像画像について人体検出部２３０が人体検出処理を行うための制御を行う。ここで、シーケンス制御部２１０は、人体を検出したことを示す人体検出情報が人体検出部２３０から出力された場合には、人体が検出された旨をシステム制御部１２０およびカメラパラメータ制御部２２０に出力する。
【００３０】
カメラパラメータ制御部２２０は、撮像画像に関するカメラパラメータを決定するものであり、決定されたカメラパラメータを用いて、撮像部１１２に対する撮像制御を行う。具体的には、カメラパラメータ制御部２２０は、シーケンス制御部２１０からのトリガに基づいて、記憶装置Ｉ／Ｆ２４０を介して、記憶装置部１３０に記憶されている現在の撮像画像を取得する。そして、この現在の撮像画像を評価して、シャッター速度、露出、ホワイトバランス等のカメラパラメータを決定する。また、カメラパラメータ制御部２２０は、現在の撮像画像から人体が検出された場合には、検出された人体および現在の撮像画像の評価に基づいてシャッター速度、露出、ホワイトバランス等のカメラパラメータを決定する。例えば、人体が検出された場合には、検出された人体の撮像画像における位置および大きさに基づいて、検出された人体に最適なカメラパラメータが決定される。
【００３１】
人体検出部２３０は、記憶装置部１３０に記憶されている現在の撮像画像について人体検出処理を行うものであり、人体が検出された場合には人体検出情報をシーケンス制御部２１０に出力する。具体的には、人体検出部２３０は、シーケンス制御部２１０からのトリガに基づいて、記憶装置Ｉ／Ｆ２４０を介して、記憶装置部１３０に記憶されている現在の撮像画像を取得し、この現在の撮像画像について、人体検出処理を行う。ここで、人体検出情報は、検出された人体に関する情報であり、例えば、検出された人体の撮像画像における位置、大きさ、その人体の度合いを表すスコアを含む情報である。なお、人体検出部２３０については、図３を参照して詳細に説明する。
【００３２】
図３は、本発明の実施の形態における人体検出部２３０の機能構成例を示すブロック図である。人体検出部２３０は、画像取得部２３１と、画像縮小部２３２と、画像取出部２３３と、ＨＯＧ算出部２３４と、人体判定部２３５と、判定結果出力部２３６と、人体検出辞書記憶部３００とを備える。
【００３３】
画像取得部２３１は、記憶装置Ｉ／Ｆ２４０を介して、記憶装置部１３０に記憶されている撮像画像を取得するものであり、取得された撮像画像を画像縮小部２３２に出力する。
【００３４】
画像縮小部２３２は、画像取得部２３１から出力された撮像画像について、予め定められている割合で順次縮小させることにより、大きさの異なる複数の画像を生成するものであり、生成された各画像を画像取出部２３３に順次出力する。なお、この撮像画像の縮小については、図１３を参照して詳細に説明する。
【００３５】
画像取出部２３３は、画像縮小部２３２から出力された各画像について、画像毎に所定領域に含まれる画像を順次取り出すものであり、取り出された画像（判定対象画像）をＨＯＧ算出部２３４に出力する。なお、この画像の取り出しについては、図１２および図１３を参照して詳細に説明する。
【００３６】
人体検出辞書記憶部３００は、画像取出部２３３から出力された画像について、人体検出処理を行うための人体検出辞書を記憶するものである。この人体検出処理として、例えば、ＨＯＧ算出部２３４による勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）の算出処理と、人体判定部２３５による人体判定処理とが行われる。そして、記憶されている人体検出辞書をＨＯＧ算出部２３４および人体判定部２３５に供給する。なお、この人体検出辞書については、図１１を参照して詳細に説明する。また、人体検出辞書記憶部３００は、特許請求の範囲に記載の判定情報記憶部の一例である。
【００３７】
ＨＯＧ算出部２３４は、画像取出部２３３から出力された判定対象画像における輝度値を用いて複数の領域についてＨＯＧを算出するものであり、算出されたＨＯＧを人体判定部２３５に出力する。なお、ＨＯＧ算出部２３４によるＨＯＧの算出対象となる判定対象画像における各領域は、人体検出辞書記憶部３００に記憶されている人体検出辞書の位置情報に基づいて特定される。なお、ＨＯＧについては、図４乃至図１０を参照して詳細に説明する。また、判定対象画像におけるＨＯＧの算出については、図１４および図１５を参照して詳細に説明する。また、ＨＯＧ算出部２３４は、特許請求の範囲に記載の算出部の一例である。
【００３８】
人体判定部２３５は、画像取出部２３３から出力された判定対象画像に人体が含まれるか否かを判定する人体判定処理を行うものである。そして、この判定結果を判定結果出力部２３６に出力する。この判定結果として、例えば、検出された人体の撮像画像における位置および大きさと、その人体の度合いを表すスコアとが出力される。具体的には、人体判定部２３５は、人体検出辞書記憶部３００に記憶されている人体検出辞書を用いて、ＨＯＧ算出部２３４から出力された複数のＨＯＧを比較することにより人体判定処理を行う。なお、人体判定部２３５による人体判定処理については、図１４乃至図１６を参照して詳細に説明する。また、人体判定部２３５は、特許請求の範囲に記載の判定部の一例である。
【００３９】
判定結果出力部２３６は、画像取出部２３３から出力された判定対象画像に人体が含まれると判定された判定結果が人体判定部２３５から出力された場合には、撮像画像から人体が検出された旨を示す人体検出情報をシーケンス制御部２１０に出力するものである。この人体検出情報には、例えば、検出された人体の撮像画像における位置および大きさと、その人体の度合いを表すスコアとが含まれる。
【００４０】
次に、本発明の実施の形態における人体検出処理で用いられる勾配方向ヒストグラム（ＨＯＧ）について図面を参照して詳細に説明する。ここで、ＨＯＧは、ヒストグラム（度数分布）の一種であり、例えば、判定対象画像を複数の領域に分割し、これらの各領域における輝度の勾配強度および勾配角度（勾配方向）を算出し、これらの値に基づいて領域毎に算出されるヒストグラムである。本発明の実施の形態では、判定対象画像における特定の領域について算出されたＨＯＧを、判定対象画像の特徴量として用いて人体検出処理を行う例について説明する。
【００４１】
図４は、本発明の実施の形態における人体判定部２３５による人体判定処理の対象となる画像を模式的に示す図である。図４（ａ）には、人体判定部２３５による人体判定処理の対象となる判定対象画像８００を示し、図４（ｂ）には、判定対象画像８００の一部の領域である領域８１０を示す。なお、図４（ａ）では、２００の領域に分割された判定対象画像８００における各領域を矩形で示し、図４（ｂ）では、領域８１０に含まれる各画素を矩形で示す。また、判定対象画像８００は、例えば、５０画素×１００画素により構成される画像であり、判定対象画像８００における各領域は、図４（ｂ）に示すように、例えば、５画素×５画素により構成される領域である。
【００４２】
図５は、本発明の実施の形態におけるＨＯＧ算出部２３４によるＨＯＧ算出の際に用いられる画素を模式的に示す図である。図５（ａ）には、図４（ｂ）に示す領域８１０に含まれる画素１乃至２５および領域８１０の周りの画素２６乃至４９を示す。図５（ｂ）には、図５（ａ）に示す各画素のうち、領域８１１に含まれる９画素を示す。図５（ｃ）には、図５（ｂ）に示す画素１について算出された輝度の勾配角度および勾配強度を模式的にベクトルで示す。ここでは、領域８１０についてＨＯＧを算出するため、領域８１０における左上隅の画素１について輝度の勾配角度および勾配強度を算出する場合を例にして説明する。ここで、輝度の勾配角度は、例えば、対象となる画素の輝度の勾配角度を示す値であり、輝度の勾配強度は、例えば、対象となる画素の輝度の勾配強度を示す値である。これらの各値については、以下で詳細に説明する。
【００４３】
画素１について輝度の勾配角度および勾配強度を算出する場合には、図５（ｂ）に示すように、例えば、画素１の水平方向（ｘ方向）および垂直方向（ｙ方向）に隣接する４つの画素（破線８１２内の画素２、６、２７、４９）を用いる。最初に、画素１に隣接する４つの画素（画素２、６、２７、４９）の輝度成分（Ｙ成分）が抽出される。例えば、画素１の座標をＺ（ｘ，ｙ）とする場合に、画素２の輝度成分をＰ（ｘ＋１，ｙ）とし、画素６の輝度成分をＰ（ｘ，ｙ＋１）とし、画素２７の輝度成分をＰ（ｘ，ｙ−１）とし、画素４９の輝度成分をＰ（ｘ−１，ｙ）とする。この場合に、例えば、画素１における輝度の勾配角度θ（ｘ，ｙ）は、式１を用いて算出される。また、画素１における輝度の勾配強度Ｉ（ｘ，ｙ）は、式２を用いて算出される。
【数１】
2010067102.tif 000003
【００４４】
このように、画素１に隣接する４画素（画素２、６、２７、４９）の輝度成分の差分値を用いて、画素１に関する輝度の勾配角度θ（ｘ，ｙ）および輝度の勾配強度Ｉ（ｘ，ｙ）を算出する。ここで、輝度の勾配については、向きを考慮しなくてもよいため、輝度の勾配角度θ（ｘ，ｙ）は、０乃至１８０度までの範囲となる。このように算出された輝度の勾配角度θ（ｘ，ｙ）および輝度の勾配強度Ｉ（ｘ，ｙ）を用いて、例えば、図５（ｃ）に示すように、画素１に関する輝度の勾配を表すベクトル８１３を作成することができる。例えば、輝度の勾配角度θ（ｘ，ｙ）を水平方向（ｘ軸）に対する角度とし、輝度の勾配強度Ｉ（ｘ，ｙ）を大きさとするベクトル８１３を作成することができる。図５（ｃ）では、画素１を示す矩形の中心付近を始点としてベクトル８１３を示す。また、領域８１０に含まれる各画素２乃至２５についても同様に、輝度の勾配角度θ（ｘ，ｙ）および輝度の勾配強度Ｉ（ｘ，ｙ）を算出することができる。
【００４５】
なお、判定対象画像の端部に存在する各画素については、輝度の勾配角度θ（ｘ，ｙ）および輝度の勾配強度Ｉ（ｘ，ｙ）を算出することができないため、これらの算出は行わない。例えば、図４（ａ）に示す領域８０１乃至８０４は、矩形の２辺が判定対象画像８００の端部に該当する。このため、これらの２辺に接する各画素については、輝度の勾配角度および勾配強度の算出を行わない。また、領域８０１および８０２の間に存在する各領域、領域８０２および８０３の間に存在する各領域、領域８０３および８０４の間に存在する各領域、領域８０４および８０１の間に存在する各領域は、矩形の１辺が判定対象画像８００自体の端部に該当する。このため、これらの１辺に接する各画素についても、輝度の勾配角度および輝度の勾配強度の算出を行わない。
【００４６】
なお、この例では、輝度の勾配角度および勾配強度の算出対象となる画素（対象画素）の水平方向および垂直方向に隣接する４画素を用いて、輝度の勾配角度および勾配強度を算出する例について説明した。しかしながら、例えば、対象画素の水平方向および垂直方向に１つ離れた４画素を用いて、輝度の勾配角度および勾配強度を算出するようにしてもよい。また、例えば、対象画素の水平方向および垂直方向の近傍に存在する他の４画素を用いて輝度の勾配角度および勾配強度を算出するようにしてもよい。
【００４７】
図６は、本発明の実施の形態におけるＨＯＧ算出部２３４により算出された輝度の勾配角度および勾配強度を用いて表されるベクトル、ヒストグラムおよびエッジ強度分布を模式的に示す図である。
【００４８】
図６（ａ）には、図４（ａ）に示す領域８１０に含まれる各画素１乃至２５について算出された輝度の勾配角度θ（ｘ，ｙ）および輝度の勾配強度Ｉ（ｘ，ｙ）に対応するベクトルを示す。図６（ａ）に示す例では、図５（ｃ）と同様に、各画素１乃至２５を示す矩形の中心付近を始点として、輝度の勾配角度θ（ｘ，ｙ）を水平方向（ｘ軸）に対する角度とし、輝度の勾配強度Ｉ（ｘ，ｙ）を大きさとするベクトルを示す。これらのベクトルにより、領域８１０の輝度の勾配角度および勾配強度を視覚的に容易に把握することができる。
【００４９】
図６（ｂ）には、図４（ａ）に示す領域８１０に含まれる各画素１乃至２５について算出された輝度の勾配角度θ（ｘ，ｙ）および輝度の勾配強度Ｉ（ｘ，ｙ）に基づいて作成されるヒストグラムを示す。図６（ｂ）に示すヒストグラムはＨＯＧであり、横軸は輝度の勾配角度を示す軸であり、縦軸は輝度の勾配強度の頻度を示す軸である。
【００５０】
この例では、輝度の勾配角度の範囲（０〜１８０度までの区間）について、１区間の範囲を２２．５度として、８区間の角度領域を定義する。そして、算出された輝度の勾配角度θ（ｘ，ｙ）に対する輝度の勾配強度Ｉ（ｘ，ｙ）のヒストグラムを作成する。すなわち、算出された輝度の勾配角度θ（ｘ，ｙ）が８階級に量子化された区間を横軸とし、この量子化された輝度の勾配角度θ（ｘ，ｙ）に対する輝度の勾配強度Ｉ（ｘ，ｙ）の合計値が縦軸とするヒストグラム（度数分布）が算出される。これにより、図６（ｂ）に示すヒストグラムが作成される。このように、領域８１０についてヒストグラムを算出する場合には、例えば、領域８１０における左上隅の画素１から画素２５までのラスタ順に演算が行われる。
【００５１】
図６（ｃ）には、図６（ｂ）に示すヒストグラムに対応するエッジ強度分布を表す線分８２１乃至８２８を、図４（ｂ）に示す領域８１０上に重ねて示す。ここで、線分８２１乃至８２８の水平方向に対する角度は、図６（ｂ）に示すヒストグラムの階級に対応し、線分８２１乃至８２８の太さは、図６（ｂ）に示すヒストグラムの頻度に対応する。すなわち、輝度勾配（輪郭成分）が強い部分ほど、線分の太さが太くなる。このように、図６（ｂ）に示すヒストグラムに対応するエッジ強度分布を線分８２１乃至８２８により表すことができる。これにより、ヒストグラムの算出対象である領域８１０のエッジ強度分布を容易に把握することができる。また、線分８２１乃至８２８と同様の線分を判定対象画像の各領域について表すことにより、判定対象画像全体のエッジ強度分布を容易に把握することができる。これにより、判定対象画像に含まれる物体の輪郭を把握することができる。以下では、判定対象画像全体のエッジ強度分布を表す線分について図面を参照して詳細に説明する。
【００５２】
図７は、人体８３１を含む判定対象画像８３０と、判定対象画像８３０について作成されたエッジ強度分布を表す複数の線分の一部とを模式的に示す図である。図７（ａ）には、輪郭のみを図形化して簡略化した人体８３１を含む判定対象画像８３０を示す。図７（ｂ）には、判定対象画像８３０について作成されたエッジ強度分布を表す複数の線分（矢印）の一部を、判定対象画像８３０上に重ねた場合を示す。図７（ｃ）には、図７（ｂ）に示すエッジ強度分布を表す線分を示す。
【００５３】
人体８３１を含む判定対象画像８３０における各領域についてＨＯＧを算出し、このＨＯＧに対応するエッジ強度分布を表す線分を表すことにより、図７（ｂ）および（ｃ）に示すように、人体８３１の輪郭を浮かび上がらせることができる。
【００５４】
図８は、人体を含む画像８４０および画像８４０の縮小画像８４１と、縮小画像８４１について作成されたエッジ強度分布を表す線分とを示す図である。図８（ａ）には、人体を含む画像８４０を示し、図８（ｂ）には、画像８４０について人体検出処理の対象とするための縮小処理（例えば、５０画素×１００画素に解像度変換）が施された縮小画像８４１を示す。図８（ｃ）には、縮小画像８４１について作成されたエッジ強度分布を表す複数の線分が描画された画像８４２を示す。図８（ｃ）に示すように、輝度勾配（輪郭成分）が強い部分ほど、線分の色が黒くなる。このように、縮小画像８４１における各領域についてＨＯＧを算出し、このＨＯＧに対応するエッジ強度分布を表す線分を表すことにより、画像８４０に含まれる人体の輪郭を浮かび上がらせることができる。
【００５５】
図９は、人体以外の物体を含む画像８５０および画像８５０の縮小画像８５１と、縮小画像８５１について作成されたエッジ強度分布を表す線分とを示す図である。図９（ａ）には、人体以外の物体（オートバイの一部）を含む画像８５０を示し、図９（ｂ）には、画像８５０について人体検出処理の対象とするための縮小処理（例えば、５０画素×１００画素に解像度変換）が施された縮小画像８５１を示す。なお、画像８５０では文字等の一部を省略して示す。図９（ｃ）には、縮小画像８５１について作成されたエッジ強度分布を表す複数の線分が描画された画像８５２を示す。図９（ｃ）に示すように、輝度勾配（輪郭成分）が強い部分ほど、線分の色が黒くなる。このように、縮小画像８５１における各領域についてＨＯＧを算出し、このＨＯＧに対応するエッジ強度分布を表す線分を表すことにより、画像８５０に含まれる物体の輪郭を浮かび上がらせることができる。しかしながら、画像８５０に含まれる物体は人体以外の物体であるため、人体の輪郭は浮かび上がらない。
【００５６】
図１０は、図８および図９に示すエッジ強度分布を表す線分を示す図である。図１０（ａ）には、図８（ｃ）に示す画像８４２を示し、図１０（ｂ）には、図９（ｃ）に示す画像８５２を示す。なお、画像８４２および８５２では線分の一部を省略して示す。図１０に示すように、人体が含まれている画像について作成されたエッジ強度分布を表す複数の線分と、人体以外の物体が含まれている画像について作成されたエッジ強度分布を表す複数の線分とを比較すると、人体特有のパターンを把握することができる。そこで、人体が含まれる画像および人体が含まれない画像を多数集めて人体特有のパターンを学習することにより、人体検出処理に用いられる人体検出辞書を作成することができる。
【００５７】
図１１は、本発明の実施の形態における人体検出辞書記憶部３００に記憶されている人体検出辞書３１０を概略的に示す図である。人体検出辞書３１０は、画像取出部２３３により取り出された判定対象画像における特定の領域についてＨＯＧを算出し、このＨＯＧを用いて人体判定処理を行うための判定情報である。なお、本発明の実施の形態では、立っている人の体を人体として検出する例について説明する。
【００５８】
人体検出辞書３１０には、位置１（ｘ１，ｙ１）３１１と、階級１（Ｒ１）３１２と、位置２（ｘ２，ｙ２）３１３と、階級２（Ｒ２）３１４と、閾値（ｔｈ）３１５と、重み（α）３１６との組合せがｔ組格納されている。また、人体検出辞書３１０は、立っている人の体を検出するための判定情報である。
【００５９】
位置１（ｘ１，ｙ１）３１１には、判定対象画像上においてＨＯＧの算出対象となる領域の位置が格納される。例えば、位置１（ｘ１，ｙ１）３１１には、画像取出部２３３により取り出された判定対象画像上をｘｙ座標（平面座標）とした場合における座標点（ｘ，ｙ）が格納される。例えば、図４（ａ）に示す判定対象画像８００における領域８１０の位置が、位置１（ｘ１，ｙ１）３１１に格納される場合には、領域８１０の左上隅の画素１（図４（ｂ）に示す）の座標点（ｘ，ｙ）が格納される。
【００６０】
階級１（Ｒ１）３１２には、位置１（ｘ１，ｙ１）３１１に位置が格納されている領域について算出されたＨＯＧの階級のうち、人体検出処理に用いられる階級が格納されている。例えば、位置１（ｘ１，ｙ１）３１１に格納されている位置により特定される領域について算出されたＨＯＧの階級が、図６（ｂ）と同様に８階級の場合には、何れかの階級の値（例えば、０乃至７の値）が階級１（Ｒ１）３１２に格納される。
【００６１】
位置２（ｘ２，ｙ２）３１３には、判定対象画像上においてＨＯＧの算出対象となる領域の位置が格納される。なお、位置２（ｘ２，ｙ２）３１３に格納される内容については、位置１（ｘ１，ｙ１）３１１と同様であるため、ここでの説明を省略する。ただし、同一のレコードにおいて、位置２（ｘ２，ｙ２）３１３に格納されている位置により特定される領域は、位置１（ｘ１，ｙ１）３１１に格納されている位置により特定される領域とは異なる領域とする。
【００６２】
階級２（Ｒ２）３１４には、位置２（ｘ２，ｙ２）３１３に位置が格納されている領域について算出されたＨＯＧの階級のうち、人体検出処理に用いられる階級が格納されている。なお、階級２（Ｒ２）３１４に格納される内容については、階級１（Ｒ１）３１２と同様であるため、ここでの説明を省略する。ただし、同一のレコードにおいて、階級２（Ｒ２）３１４に格納されている階級は、階級１（Ｒ１）３１２に格納されている階級と同一となる場合があるとともに、異なる場合もある。
【００６３】
閾値（ｔｈ）３１５には、階級１（Ｒ１）３１２に格納されている階級に対応する値と、階級２（Ｒ２）３１４に格納されている階級に対応する値との差分値に関する閾値が格納される。すなわち、位置１（ｘ１，ｙ１）３１１に格納されている位置により特定される領域について算出されたＨＯＧにおける階級１（Ｒ１）３１２に格納されている階級の値が抽出される。また、位置２（ｘ２，ｙ２）３１３に格納されている位置により特定される領域について算出されたＨＯＧにおける階級２（Ｒ２）３１４に格納されている階級の値が抽出される。そして、これらの抽出された２つの値の差分値に関する閾値として、閾値（ｔｈ）３１５に格納されている閾値が用いられる。
【００６４】
重み（α）３１６には、人体検出処理を行うためのスコアの算出に用いられる重みが格納される。このスコアは、人体の度合いを表す評価値である。なお、これらの各値を用いて行われる人体の度合いを表すスコアの算出については、図１４乃至図１５を参照して詳細に説明する。なお、人体検出辞書３１０の同一レコードに係る各値は、特許請求の範囲に記載の判定情報の一例である。
【００６５】
また、これらの各値は、例えば、アダブースト（ＡｄａＢｏｏｓｔ）等の機械学習アルゴリズムにより学習されたもののうちで、最も効果的な上位５００組の組合せを用いて設定される。この学習の対象となる画像として、例えば、立っている人の体が含まれている画像と、立っている人の体が含まれていない画像とを用いる。また、判定処理に用いられる人体検出辞書は、判定対象画像が人体を含むか否かを判定する際の判定基準のみに関するデータを保持する判定情報であり、画像そのものを保持するものではない。このため、記憶容量を削減することができるとともに、判定処理を迅速に行うことができる。なお、機械学習アルゴリズムとして、ＳＶＭ（Support Vector Machine）やＲｅａｌ  ＡｄａＢｏｏｓｔ等を用いるようにしてもよい。
【００６６】
次に、人体を検出する人体検出方法について図面を参照して詳細に説明する。
【００６７】
図１２および図１３は、本発明の実施の形態における人体判定部２３５による人体判定処理の対象となる画像（判定対象画像）を取り出す画像取出方法の概略を示す図である。図１２（ａ）には、画像縮小部２３２により縮小処理が施された画像４００を示し、図１２（ｂ）には、画像４００から判定対象画像を取り出す場合における画像取出方法の概略を示す。なお、この判定対象画像の取出しは、画像取出部２３３により行われる。
【００６８】
図１２（ａ）に示す画像４００は、地面に立っている人を被写体とする撮像画像である。この画像４００から判定対象画像を取り出す場合には、図１２（ｂ）に示すように、画像４００の左上隅に取出枠４０１が配置され、取出枠４０１内に含まれる画像が取り出される。続いて、取出枠が右側方向（矢印４１１乃至４１６に示す方向）に１画素シフトされて、取出枠内に含まれる画像が取り出される。同様にして、取出枠が１画素ずつ右側方向に順次シフトされて、取出枠内に含まれる画像が順次取り出される。そして、画像４００の右端となる取出枠４０２の位置にシフトされて取出枠４０２内に含まれる画像が取り出されると、取出枠が１画素下側にシフトされるとともに画像４００の左端に移動される。続いて、画像４００の左端に移動直後の取出枠内に含まれる画像が取り出された後に、取出枠が１画素ずつ右側方向に順次シフトされて、取出枠内に含まれる画像が順次取り出される。以下、同様に取出枠内に含まれる画像が順次取り出される。そして、画像４００の右端および下端となる取出枠４０４の位置にシフトされて取出枠４０４内に含まれる画像が取り出されると、画像４００からの判定対象画像の取出処理を終了する。
【００６９】
図１３（ａ）乃至（ｃ）には、画像縮小部２３２により順次縮小処理が施された画像４２１乃至４２３を示す。また、図１３（ａ）乃至（ｃ）の左側の画像４２１乃至４２３では、取出枠４３０の最初の配置位置を示し、図１３（ａ）乃至（ｃ）の右側の画像４２１乃至４２３では、取出枠４３０の最後の配置位置を示す。ここで、取出枠４３０の最初の配置位置から最後の配置位置までの移動については、図１２（ｂ）に示す移動と同様である。また、取出枠４３０の大きさは、取出の対象となる画像の大きさにかかわらず一定である。そして、画像縮小部２３２により縮小処理が施された画像の大きさが、取出枠４３０よりも小さくなるまで、画像の取出処理が行われる。なお、縮小処理の対象となる元の画像は、例えば、３２０画素×２４０画素の画像である。また、画像縮小部２３２により行われる縮小処理は、例えば、前の画像を０．８３倍に縮小する縮小処理とすることができる。
【００７０】
次に、判定対象画像について人体検出辞書を用いて判定処理を行う例について図面を参照して詳細に説明する。
【００７１】
図１４および図１５は、本発明の実施の形態における判定対象画像と、判定処理に用いられるヒストグラム（ＨＯＧ）とを示す図である。図１４（ａ）には、画像取出部２３３により取り出された判定対象画像４５０を示し、図１４（ｂ）には、判定処理に用いられる２つのＨＯＧを示す。また、図１５（ａ）乃至（ｃ）には、図１４（ｂ）および（ｃ）に示す２つのＨＯＧを用いた演算方法を模式的に示す。この例では、図１４（ａ）に示す判定対象画像４５０の左上隅を原点とし、水平方向をｘ軸、垂直方向をｙ軸として、判定対象画像４５０について人体検出辞書３１０（図１１に示す）を用いた判定処理を行う場合について説明する。
【００７２】
図１４（ａ）に示す判定対象画像４５０は、撮像部１１２により生成された撮像画像について画像縮小部２３２により縮小処理が施された画像から、画像取出部２３３により取り出された画像である。ここで、画像縮小部２３２により縮小処理の対象となる元の画像は、例えば、３２０画素×２４０画素の画像であり、判定対象画像４５０は、例えば、図４に示す判定対象画像８００と同様に、５０画素×１００画素の画像であるものとする。
【００７３】
最初に、ＨＯＧ算出部２３４が、判定に用いられる２つの領域（領域Ｅ１（ｉ）および領域Ｅ２（ｉ））を特定する。この２つの領域は、人体検出辞書３１０の位置１（ｘ１，ｙ１）および位置２（ｘ２，ｙ２）に格納されている位置により特定される。例えば、領域Ｅ１（ｉ）の矩形の左上隅の画素が、人体検出辞書３１０の位置１（ｘ１，ｙ１）に格納されている座標点の位置になるように、領域Ｅ１（ｉ）が特定される。また、同様に、人体検出辞書３１０の位置２（ｘ２，ｙ２）に格納されている位置により領域Ｅ２（ｉ）が特定される。ここで、ｉは、人体検出辞書３１０の各レコードを表す値であり、１≦ｉ≦ｔとなる。
【００７４】
続いて、ＨＯＧ算出部２３４が、判定対象画像４５０において特定された領域Ｅ１（ｉ）および領域Ｅ２（ｉ）のそれぞれについてＨＯＧを算出する。このＨＯＧの算出方法については、図４乃至図６等で示した方法と同様であるため、ここでの説明を省略する。
【００７５】
続いて、人体判定部２３５が、領域Ｅ１（ｉ）について算出されたＨＯＧの各階級のうちから、人体検出辞書３１０の階級１（Ｒ１）３１２に格納されている階級Ｒ１（ｉ）の値に対応する階級の値Ａ（ｉ）を抽出する。また、人体判定部２３５が、領域Ｅ２（ｉ）について算出されたＨＯＧの各階級のうちから、人体検出辞書３１０の階級２（Ｒ２）３１４に格納されている階級Ｒ２（ｉ）の値に対応する階級の値Ｂ（ｉ）を抽出する。続いて、人体判定部２３５が、抽出された２つの値の差分値Ｄ（ｉ）を算出する。ここで、差分値Ｄ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）である。
【００７６】
続いて、人体判定部２３５が、人体検出辞書３１０の閾値（ｔｈ）３１５に格納されている閾値ｔｈ（ｉ）と、差分値Ｄ（ｉ）とを比較する。続いて、人体判定部２３５が、差分値Ｄ（ｉ）よりも小さいか否かに応じて、弱仮説（Weak Learner）ｈ（ｉ）を算出する。具体的には、弱仮説ｈ（ｉ）は、次式を用いて算出される。
差分値Ｄ（ｉ）＞閾値ｔｈ（ｉ）であれば、弱仮説ｈ（ｉ）＝１
差分値Ｄ（ｉ）≦閾値ｔｈ（ｉ）であれば、弱仮説ｈ（ｉ）＝０
【００７７】
続いて、人体判定部２３５が、算出された弱仮説ｈ（ｉ）と、重み（α）３１６に格納されている値α（ｉ）とを乗算することにより、ｈ（ｉ）α（ｉ）を算出する。人体判定部２３５は、これらの算出処理を人体検出辞書３１０の１行目からｔ行目まで繰り返し行い、ｈ（ｉ）α（ｉ）の合計値をスコアＳとして算出する。具体的には、スコアＳ（最終仮説）は、式３を用いて算出される。このスコアＳは、特許請求の範囲に記載の評価値の一例である。
【数２】
2010067102.tif 000004
【００７８】
続いて、人体判定部２３５が、式３により算出されたスコアＳに基づいて、判定対象画像４５０に人体が含まれているか否かを判定する。具体的には、スコアＳが式４を満たす場合には、判定対象画像４５０に人体が含まれていると判定される。一方、スコアＳが式４を満たさない場合には、判定対象画像４５０に人体が含まれていないと判定される。なお、式４の右辺の値については、人体検出辞書３１０に格納しておくようにしてもよく、人体検出処理毎に算出するようにしてもよい。また、差分値Ｄ（ｉ）については、ゲイン係数等を用いて調整するようにしてもよい。例えば、ゲイン係数をＫとする場合、差分値Ｄ（ｉ）をＫ・Ｄ（ｉ）として調整することができる。また、この例では、人体検出辞書３１０を用いた判定として、スコアＳの値が式４を満たすか否かに基づいて判定する判定例について説明するが、式４の右辺の値以外の値を用いて判定するようにしてもよい。すなわち、スコアＳと比較する値については、適宜調整することができる。
【００７９】
次に、具体的な計算方法について説明する。
【００８０】
図１４（ａ）において、例えば、人体検出辞書３１０の１行目に格納されている位置１（ｘ１，ｙ１）および位置２（ｘ２，ｙ２）の各値に基づいて特定される領域を、領域４６１および４６２とする。また、例えば、人体検出辞書３１０の２行目に格納されている位置１（ｘ１，ｙ１）および位置２（ｘ２，ｙ２）の各値に基づいて特定される領域を、領域４６３および４６４とする。また、例えば、人体検出辞書３１０の３行目に格納されている位置１（ｘ１，ｙ１）および位置２（ｘ２，ｙ２）の各値に基づいて特定される領域を、領域４６５および４６６とする。
【００８１】
最初に、判定を行うためのスコアＳの値に０がセットされ、人体検出辞書３１０の１行目に格納されている各値を用いた演算が行われる。具体的には、人体検出辞書３１０の１行目の位置１（ｘ１，ｙ１）３１１および位置２（ｘ２，ｙ２）３１３により、２つの領域４６１および４６２が特定される。続いて、２つの領域４６１および４６２のそれぞれについてＨＯＧが算出される。例えば、領域４６１について、図１４（ｂ）に示すＨＯＧが算出され、領域４６２について、図１４（ｃ）に示すＨＯＧが算出される。なお、図１４（ｂ）に示すＨＯＧと、図１５（ａ）に示すＨＯＧとは同一であり、図１４（ｃ）に示すＨＯＧと、図１５（ｂ）に示すＨＯＧとは同一であるものとする。
【００８２】
続いて、領域４６１について算出されたＨＯＧの各階級のうちから、人体検出辞書３１０の１行目に格納されている階級１（Ｒ１）３１２の値に対応する階級の値が抽出される。また、領域４６２について算出されたＨＯＧの各階級のうちから、人体検出辞書３１０の１行目に格納されている階級２（Ｒ２）３１４の値に対応する階級の値が抽出される。例えば、図１５（ａ）に示すＨＯＧ（領域４６１）から階級１（斜線で示す）の値が抽出される。また、例えば、図１５（ｂ）に示すＨＯＧ（領域４６２）から階級５（斜線で示す）の値が抽出される。ここで、領域４６１について算出されたＨＯＧから抽出された値をＡ（１）とし、領域４６２について算出されたＨＯＧから抽出された値をＢ（１）とする。そして、次式を用いて、差分値Ｄ（１）が算出される。
Ｄ（１）＝Ａ（１）−Ｂ（１）
【００８３】
例えば、図１５（ｃ）に示すように、差分値Ｄ（１）が算出される。なお、図１５（ａ）および（ｂ）に示すように、人体検出辞書３１０に格納されている階級１（Ｒ１）３１２または階級２（Ｒ２）３１４の値に対応する階級の値は、必ずしも最大となる値ではない。
【００８４】
続いて、算出された差分値Ｄ（１）と、人体検出辞書３１０の１行目に格納されている閾値（ｔｈ）３１５の閾値ｔｈ（１）とが比較される。そして、差分値Ｄ（１）が閾値ｔｈ（１）よりも小さいか否かに応じて、弱仮説ｈ（１）が算出される。なお、弱仮説ｈ（１）は、上述した式を用いて算出される。
【００８５】
続いて、算出された弱仮説ｈ（１）と、人体検出辞書３１０の１行目に格納されている重み（α）３１６の値α（１）とを乗算することにより、ｈ（１）α（１）が算出される。そして、算出されたｈ（１）α（１）がスコアＳに加算される。
【００８６】
続いて、人体検出辞書３１０の２行目に格納されている各値を用いて、上述した各演算を繰り返す。具体的には、人体検出辞書３１０の２行目の位置１（ｘ１，ｙ１）３１１および位置２（ｘ２，ｙ２）３１３により特定される領域４６３および４６４のそれぞれについてＨＯＧが算出される。続いて、領域４６３について算出されたＨＯＧの各階級のうちから、人体検出辞書３１０の２行目に格納されている階級１（Ｒ１）３１２の値に対応する階級の値Ａ（２）が抽出される。また、領域４６４について算出されたＨＯＧの各階級のうちから、人体検出辞書３１０の２行目に格納されている階級２（Ｒ２）３１４の値に対応する階級の値Ｂ（１）が抽出される。そして、次式を用いて、差分値Ｄ（２）が算出される。
Ｄ（２）＝Ａ（２）−Ｂ（２）
【００８７】
続いて、算出された差分値Ｄ（２）と、人体検出辞書３１０の２行目に格納されている閾値（ｔｈ）３１５の閾値ｔｈ（２）とが比較される。そして、差分値Ｄ（２）が閾値ｔｈ（２）よりも小さいか否かに応じて、弱仮説ｈ（２）が算出される。
【００８８】
続いて、算出された弱仮説ｈ（２）と、人体検出辞書３１０の２行目に格納されている重み（α）３１６の値α（２）とを乗算することにより、ｈ（２）α（２）が算出される。そして、算出されたｈ（２）α（２）がスコアＳに加算される。
【００８９】
続いて、人体検出辞書３１０の３行目以降、ｔ行目までに格納されている各値を順次用いて、上述した各演算を繰り返す。そして、人体検出辞書３１０のｔ行目に格納されている各値を用いた各演算が終了した後に、スコアＳの値が式４を満たすか否かが判断される。
【００９０】
例えば、上述の機械学習アルゴリズムによって学習時における人体判定成功の学習サンプルを正側とし、人体判定失敗時の学習サンプルを負側として学習した場合を想定する。この場合において、人体検出辞書３１０の１乃至ｔ行目に格納されている各値を用いた各演算の終了後におけるスコアＳの値が式４を満たす場合には、判定対象画像に人体が含まれていると判定される。一方、各演算の終了後におけるスコアＳの値が式４を満たさない場合には、判定対象画像に人体が含まれていないと判定される。
【００９１】
図１６は、本発明の実施の形態における人体検出部２３０による人体検出処理の対象となった画像４００と、人体検出部２３０による人体検出処理の検出結果とを示す図である。図１６（ａ）に示す画像４００は、図１２（ａ）に示す画像４００と同一であり、人体４０５が含まれる。図１６（ｂ）には、画像４００に含まれる人体４０５が検出された場合における検出結果を枠４０６で模式的に示す。この枠４０６は、人体検出部２３０による人体検出処理の検出結果として、位置および大きさを表す枠である。この検出結果に基づいて、例えば、カメラパラメータ制御部２２０が、検出された人体に最適なカメラパラメータを決定することができる。また、例えば、表示部１７０に画像４００が表示されている場合には、画像４００に枠４０６を重ねて表示させることができる。
【００９２】
次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【００９３】
図１７は、本発明の実施の形態における撮像装置１００による撮像画像記録処理の処理手順を示すフローチャートである。この例では、撮像画像記録待機状態である場合に、撮像画像を生成し、この撮像画像について人体検出処理を行う例について説明する。
【００９４】
最初に、撮像画像記録待機状態であるか否かが判断される（ステップＳ９０１）。撮像画像記録待機状態である場合には（ステップＳ９０１）、撮像部１１２が撮像画像を生成し（ステップＳ９０２）、生成された撮像画像について人体検出部２３０が人体検出処理を行う（ステップＳ９２０）。この人体検出処理については、図１８を参照して詳細に説明する。なお、この人体検出処理は各フレームに対して行うようにしてもよく、一定間隔毎のフレームに対して行うようにしてもよい。一方、撮像画像記録待機状態でない場合には（ステップＳ９０１）、撮像画像記録処理の動作を終了する。
【００９５】
続いて、メラパラメータ制御部２２０がカメラパラメータを決定する（ステップＳ９０３）。例えば、人体検出部２３０から人体検出情報が出力された場合には、メラパラメータ制御部２２０が、検出された人体の撮像画像における位置および大きさに基づいて、検出された人体に最適なカメラパラメータを決定する。続いて、シャッターボタンが押下されたか否かが判断され（ステップＳ９０４）、シャッターボタンが押下された場合には、生成された撮像画像が記録部１５０に記録される（ステップＳ９０５）。一方、シャッターボタンが押下されない場合には（ステップＳ９０４）、撮像画像記録処理の動作を終了する。
【００９６】
図１８は、本発明の実施の形態における撮像装置１００による撮像画像記録処理の処理手順のうちの人体検出処理手順（図１７に示すステップＳ９２０の処理手順）を示すフローチャートである。
【００９７】
最初に、記憶装置部１３０に記憶されている現在の撮像画像が取得される（ステップＳ９２１）。続いて、取得された撮像画像上の左上隅に取出枠が配置され（ステップＳ９２２）、この取出枠内の画像が取り出される（ステップＳ９２３）。続いて、人体検出辞書記憶部３００に記憶されている人体検出辞書３１０を用いて、取出枠内から取り出された画像（判定対象画像）について判定処理が実行される（ステップＳ９４０）。なお、この判定処理については、図１９を参照して詳細に説明する。
【００９８】
続いて、判定対象画像が取出枠よりも小さいか否かが判断される（ステップＳ９２４）。判定対象画像が取出枠よりも小さくない場合には（ステップＳ９２４）、判定対象画像の右端に取出枠が存在するか否かが判断される（ステップＳ９２５）。判定対象画像の右端に取出枠が存在しない場合には（ステップＳ９２５）、判定対象画像上において取出枠が１画素右側にシフトして配置され（ステップＳ９２６）、ステップＳ９２３に戻る。一方、判定対象画像の右端に取出枠が存在する場合には（ステップＳ９２５）、判定対象画像の下端に取出枠が存在するか否かが判断される（ステップＳ９２７）。判定対象画像の下端に取出枠が存在しない場合には（ステップＳ９２７）、判定対象画像上において取出枠が１画素下側にシフトされるとともに、判定対象画像の左端に配置され（ステップＳ９２８）、ステップＳ９２３に戻る。判定対象画像の下端に取出枠が存在する場合には（ステップＳ９２７）、判定対象画像が所定倍率で縮小処理され（ステップＳ９２９）、縮小処理後の画像上の左上隅に取出枠が配置される（ステップＳ９２２）。
【００９９】
一方、判定対象画像が取出枠よりも小さい場合には（ステップＳ９２４）、判定対象画像に人体が含まれていると判定されたか否かが判断される（ステップＳ９３０）。判定対象画像に人体が含まれていると判定された場合には（ステップＳ９３０）、判定結果として人体を検出した旨を示す人体検出情報が出力される（ステップＳ９３２）。ここで、判定対象画像に複数の人体が含まれていると判定された場合には、複数の人体に関する人体検出情報を出力する。また、重複する領域について、人体が含まれていると複数回判定された場合には、例えば、ステップＳ９４０の判定処理において算出されるスコアＳが最大となる取出枠の位置および大きさに基づいて人体検出情報を出力する。一方、判定対象画像に人体が含まれていると判定されない場合には（ステップＳ９３０）、判定結果として人体を検出しない旨を示す人体無検出情報が出力される（ステップＳ９３１）。
【０１００】
なお、この例では、判定対象画像に人体が含まれていると一度判定された場合でも、判定対象画像が取出枠よりも小さくなるまで判定処理を繰り返し行い、この判定結果に基づいて、現在の撮像画像から人体が検出されたか否かを判定する例について説明した。しかし、判定対象画像に人体が含まれていると一度判定された場合には、他の判定対象画像を判定処理することなく、現在の撮像画像から人体が検出された旨を示す人体検出情報を出力するようにしてもよい。
【０１０１】
図１９は、本発明の実施の形態における撮像装置１００による人体検出処理の処理手順のうちの判定処理手順（図１８に示すステップＳ９４０の処理手順）を示すフローチャートである。
【０１０２】
最初に、スコアＳが「０」に初期化され（ステップＳ９４１）、変数ｉが「１」に初期化される（ステップＳ９４２）。続いて、人体検出辞書３１０のｉ行目に格納されている位置１（ｘ１，ｙ１）の各値に基づいて判定対象画像における領域Ｅ１（ｉ）が特定され、位置２（ｘ２，ｙ２）の各値に基づいて判定対象画像における領域Ｅ２（ｉ）が特定される（ステップＳ９４３）。続いて、特定された領域Ｅ１（ｉ）およびＥ２（ｉ）のそれぞれについてＨＯＧが算出される（ステップＳ９４４）。なお、特定された領域について算出されたＨＯＧを順次記憶しておき、他のレコードのＨＯＧ算出の際に利用するようにしてもよい。また、ステップＳ９４４は、特許請求の範囲に記載の算出手順の一例である。
【０１０３】
続いて、領域Ｅ１（ｉ）について算出されたＨＯＧの各階級のうちから、人体検出辞書３１０のｉ行目に格納されている階級１（Ｒ１）３１２の値に対応する階級の値Ａ（ｉ）が抽出される。また、領域Ｅ２（ｉ）について算出されたＨＯＧの各階級のうちから、人体検出辞書３１０のｉ行目に格納されている階級２（Ｒ２）３１４の値に対応する階級の値Ｂ（ｉ）が抽出される（ステップＳ９４５）。続いて、抽出された値Ａ（ｉ）およびＢ（ｉ）の差分値Ｄ（ｉ）が算出される（ステップＳ９４６）。
【０１０４】
続いて、人体検出辞書３１０のｉ行目に格納されている閾値（ｔｈ）３１５の閾値ｔｈ（ｉ）と、算出された差分値Ｄ（ｉ）とが比較される（ステップＳ９４７）。そして、算出された差分値Ｄ（ｉ）が閾値ｔｈ（ｉ）よりも大きい場合には（ステップＳ９４７）、弱仮説ｈ（ｉ）＝１と算出される（ステップＳ９４８）。一方、算出された差分値Ｄ（ｉ）が閾値ｔｈ（ｉ）以下である場合には（ステップＳ９４７）、弱仮説ｈ（ｉ）＝０と算出される（ステップＳ９４９）。
【０１０５】
続いて、人体検出辞書３１０のｉ行目に格納されている重み（α）３１６の値α（ｉ）と、算出された弱仮説ｈ（ｉ）とが乗算され、この乗算により求められた値ｈ（ｉ）α（ｉ）がスコアＳに加算される（ステップＳ９５０）。
【０１０６】
続いて、変数ｉに「１」が加算され（ステップＳ９５１）、変数ｉがｔよりも大きいか否かが判断される（ステップＳ９５２）。変数ｉがｔよりも大きくない場合には（ステップＳ９５２）、人体検出辞書３１０の各行の値についての判定処理が終了していないため、ステップＳ９４３に戻り、判定処理を繰り返す（ステップＳ９４３乃至Ｓ９５１）。一方、変数ｉがｔよりも大きい場合には（ステップＳ９５２）、人体検出辞書３１０の各行の値についての判定処理が終了しているため、ステップＳ９５３に進み、スコアＳの値が、上述した式４を満たすか否かが判断される（ステップＳ９５３）。
【０１０７】
スコアＳの値が、上述した式４を満たす場合には（ステップＳ９５３）、判定対象画像は人体を含むと判定される（ステップＳ９５４）。一方、スコアＳの値が、上述した式４を満たさない場合には（ステップＳ９５３）、判定対象画像は人体を含まないと判定される（ステップＳ９５５）。なお、ステップＳ９４５乃至Ｓ９５５は、特許請求の範囲に記載の判定手順の一例である。
【０１０８】
この例では、人体検出辞書３１０の１行目からｔ行目までの各値に対応するＨＯＧを順次算出する例について説明した。しかしながら、例えば、最初に、判定対象画像における全領域についてＨＯＧを算出して記憶しておき、この記憶されたＨＯＧを用いて、人体検出辞書３１０の１行目からｔ行目までの各値に対応するスコアＳを算出するようにしてもよい。
【０１０９】
また、この例では、人体検出辞書３１０の１行目からｔ行目までの各値を用いてスコアＳを算出した後に判定処理を行う例について説明した。しかしながら、例えば、人体検出辞書３１０の各レコードに対応させて打切閾値を格納しておき、ステップＳ９５０で求められたスコアＳが、現在のレコードの打切閾値を下回った場合に、判定処理を打ち切るようにしてもよい。これにより、判定処理をさらに高速化することができる。
【０１１０】
以上で示したように、本発明の実施の形態では、人体の輪郭を用いて人体検出を行うため、人の服装の色等が異なる場合でも適切に人体検出を行うことができる。また、２つの領域について算出されたＨＯＧの階級の差分値を用いて判定処理を行うため、例えば、被写体の明暗に応じて正規化を行う必要がない。また、判定対象画像におけるＨＯＧの算出対象となる各領域の重ね合わせがないため、ＨＯＧ算出等の演算量を削減することができる。これらにより、人体検出処理の処理速度を速めることができる。また、輝度自体ではなく、輝度勾配の要素の差分を用いて人体検出を行うため、被写体の明暗にかかわらず、人体検出処理の精度を高めることができる。
【０１１１】
また、人体の輪郭を用いた検出を行うため、例えば、人体検出辞書３１０を用いて、前向きで立っている人の体および後ろ向きで立っている人の体を適切に検出することができる。また、例えば、人体の横腹の輪郭や顔の側面の輪郭等を利用することにより、手の位置がどこにあっても、立っている人の体を適切に検出することができる。例えば、人体検出辞書３１０を用いて、バンザイをして立っている人の体でも検出することが可能である。
【０１１２】
また、本発明の実施の形態では、ＨＯＧの階級を８階級とする例について説明したが、ＨＯＧの階級を８階級以外とするようにしてもよい。また、本発明の実施の形態では、ＨＯＧ算出の対象となる領域を５画素×５画素とする例について説明したが、この領域を４画素×４画素等とするようにしてもよい。また、判定対象画像におけるＨＯＧの算出対象となる各領域の一部を重複するように設定してもよい。
【０１１３】
また、本発明の実施の形態では、人体検出辞書３１０を用いて、立っている人の体を検出する例について説明したが、例えば、寝ている人や座っている人についても、それぞれに対応する検出辞書を用いて検出することができる。これらの辞書は、検出対象となる人体についてそれぞれ学習された辞書である。
【０１１４】
また、本発明の実施の形態では、人体検出辞書３１０のみを用いて、立っている人の体のみを検出する例について説明したが、例えば、複数の検出辞書を用いて、複数の特定物体を検出するようにしてもよい。例えば、人体検出辞書記憶部３００に複数の検出辞書を記憶しておき、各撮像画像について各検出辞書を用いて物体検出処理を行うことができる。すなわち、各検出辞書の形式を同一とし、判定対象画像の解像度を同一の解像度とすることにより、複数の検出辞書を切り替え可能とすることができ、複数の特定の物体について同一のアルゴリズムで物体検出処理を行うことができる。
【０１１５】
また、本発明の実施の形態では、物体検出処理の対象となる特定の物体として、立っている人の体を例にして説明したが、輪郭により特定することができる人体以外の物体についても本発明の実施の形態を適用することができる。例えば、哺乳類、爬虫類、魚類等の動物（例えば、ペット）の体、自動車、飛行機等を特定の物体とする場合についても本発明の実施の形態を適用することができる。
【０１１６】
また、静止画および動画を撮像するデジタルビデオカメラ（例えば、カメラ一体型レコーダ）や撮像機能を備える携帯電話機の各種の撮像装置に本発明の実施の形態を適用することができる。また、例えば、車に搭載されて、他の車両を検出する車両用物体検出装置等の物体検出装置に本発明の実施の形態を適用することができる。
【０１１７】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１１８】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【図面の簡単な説明】
【０１１９】
【図１】本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図２】本発明の実施の形態におけるカメラ制御部２００の機能構成例を示すブロック図である。
【図３】本発明の実施の形態における人体検出部２３０の機能構成例を示すブロック図である。
【図４】本発明の実施の形態における人体判定部２３５による人体判定処理の対象となる画像を模式的に示す図である。理
【図５】本発明の実施の形態におけるＨＯＧ算出部２３４によるＨＯＧ算出の際に用いられる画素を模式的に示す図である。
【図６】本発明の実施の形態におけるＨＯＧ算出部２３４により算出された輝度の勾配角度および勾配強度を用いて表されるベクトル、ヒストグラムおよびエッジ強度分布を模式的に示す図である。
【図７】人体８３１を含む判定対象画像８３０と、判定対象画像８３０について作成されたエッジ強度分布を表す複数の線分の一部とを模式的に示す図である。
【図８】人体を含む画像８４０および画像８４０の縮小画像８４１と、縮小画像８４１について作成されたエッジ強度分布を表す線分とを示す図である。
【図９】人体以外の物体を含む画像８５０および画像８５０の縮小画像８５１と、縮小画像８５１について作成されたエッジ強度分布を表す線分とを示す図である。
【図１０】図８および図９に示すエッジ強度分布を表す線分を示す図である。
【図１１】本発明の実施の形態における人体検出辞書記憶部３００に記憶されている人体検出辞書３１０を概略的に示す図である。
【図１２】本発明の実施の形態における人体判定部２３５による人体判定処理の対象となる画像を取り出す画像取出方法の概略を示す図である。
【図１３】本発明の実施の形態における人体判定部２３５による人体判定処理の対象となる画像を取り出す画像取出方法の概略を示す図である。
【図１４】本発明の実施の形態における判定対象画像と、判定処理に用いられるヒストグラム（ＨＯＧ）とを示す図である。
【図１５】本発明の実施の形態における判定対象画像と、判定処理に用いられるヒストグラム（ＨＯＧ）とを示す図である。
【図１６】本発明の実施の形態における人体検出部２３０による人体検出処理の対象となった画像４００と、人体検出部２３０による人体検出処理の検出結果とを示す図である。
【図１７】本発明の実施の形態における撮像装置１００による撮像画像記録処理の処理手順を示すフローチャートである。
【図１８】本発明の実施の形態における撮像装置１００による撮像画像記録処理の処理手順のうちの人体検出処理手順を示すフローチャートである。
【図１９】本発明の実施の形態における撮像装置１００による人体検出処理の処理手順のうちの判定処理手順を示すフローチャートである。
【符号の説明】
【０１２０】
１００  撮像装置
１１１  レンズ
１１２  撮像部
１２０  システム制御部
１３０  記憶装置部
１４０  外部Ｉ／Ｆ部
１５０  記録部
１６０  操作入力部
１７０  表示部
１８０  音声出力部
２００  カメラ制御部
２１０  シーケンス制御部
２２０  カメラパラメータ制御部
２４０  記憶装置Ｉ／Ｆ
２３０  人体検出部
２３１  画像取得部
２３２  画像縮小部
２３３  画像取出部
２３４  ＨＯＧ算出部
２３５  人体判定部
２３６  判定結果出力部
３００  人体検出辞書記憶部
【図１】
2010067102.tif 000005
【図２】
2010067102.tif 000006
【図３】
2010067102.tif 000007
【図４】
2010067102.tif 000008
【図５】
2010067102.tif 000009
【図６】
2010067102.tif 000010
【図１１】
2010067102.tif 000011
【図１２】
2010067102.tif 000012
【図１３】
2010067102.tif 000013
【図１４】
2010067102.tif 000014
【図１５】
2010067102.tif 000015
【図１６】
2010067102.tif 000016
【図１７】
2010067102.tif 000017
【図１８】
2010067102.tif 000018
【図１９】
2010067102.tif 000019
【図７】
2010067102.tif 000020
【図８】
2010067102.tif 000021
【図９】
2010067102.tif 000022
【図１０】
2010067102.tif 000023