(57)【要約】【課題】高精度に物体を検出する。【解決手段】物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、前記複数の弱識別器による検出結果に基づいて前記物体を検出する。【選択図】図１
2017016548.tif 000002
【特許請求の範囲】
【請求項１】
物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、
前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、
前記複数の弱識別器による検出結果に基づいて前記物体を検出することを特徴とする物体検出方法。
【請求項２】
前記ボケ状態を表す指標の差異により表わされる特徴とは、
前記物体を撮像した場合に前記物体の輪郭に対応して発生する、ボケ領域と非ボケ領域の境界を表す特徴であることを特徴とする請求項１に記載の物体検出方法。
【請求項３】
前記弱識別器は、前記部分画像内の第１の領域の前記ボケ状態を表す指標の差異により表わされる特徴と、前記部分画像内の第２の領域の前記ボケ状態を表す指標の差異により表わされる特徴との相違の程度を表す情報を含むことを特徴とする請求項１又は２に記載の物体検出方法。
【請求項４】
前記弱識別器は、前記第１の領域及び前記第２の領域の大きさと、前記第１の領域及び前記第２の領域の相対的な位置関係を表す情報を更に含むことを特徴とする請求項３に記載の物体検出方法。
【請求項５】
前記部分画像から領域を切り出し、該切り出した領域を周波数変換し、周波数変換により得られた周波数成分に基づいて、前記切り出した領域に対応する前記ボケ状態を表す指標の差異により表わされる特徴を算出することを特徴とする請求項１乃至４の何れか１項に記載の物体検出方法。
【請求項６】
前記部分画像から領域を切り出し、該切り出した領域を勾配ヒストグラムに変換するための関数及び前記切り出した領域から特徴点を抽出するための関数の何れか又は双方の関数に基づいて、前記切り出した領域に対応する前記ボケ状態を表す指標の差異により表わされる特徴を算出することを特徴とする請求項１乃至４の何れか１項に記載の物体検出方法。
【請求項７】
前記複数の弱識別器による検出結果に基づいて、前記複数の弱識別器の中から一部の弱識別器を選択し、該選択した弱識別器を組み合わせることにより強識別器を構築し、該強識別器により前記物体を検出することを特徴とする請求項１乃至６の何れか１項に記載の物体検出方法。
【請求項８】
物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、
前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、
前記複数の弱識別器による検出結果に基づいて前記物体を検出することを特徴とする物体検出装置。
【請求項９】
物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、
前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、
前記複数の弱識別器による検出結果に基づいて前記物体を検出する物体検出装置としてコンピュータを機能させることを特徴とする物体検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から物体を検出するための、物体検出方法、物体検出装置及び物体検出プログラムに関する。
【背景技術】
【０００２】
画像内の特徴を抽出し、抽出した特徴に基づいて物体を検出する技術が広く用いられている。例えば、他の車両や歩行者等を検出する技術により、自動車の運転補助を行なうことができる。また、検出精度を高めることにより、自動車の自動運転を実現することも可能となる。更に、歩行者を検出する技術により、防犯カメラ等の監視システムを実現することができる。
【０００３】
このような物体を検出する技術の一例として、画像内でのボケ量の分布を特徴として抽出することによって物体を検出する技術が特許文献１に記載されている。
【０００４】
特許文献１に記載の技術では、撮像対象物との間の物体の存在を判定し、撮像対象物の誤検出を防止することを目的としている。
【０００５】
かかる目的を達成するために、特許文献１に記載の技術では、車内のドライバーの顔に合焦するようにして車内の撮像を行なう。そして、カメラとドライバーの間に別物体が存在しない状態でのボケ量分布を基準として記憶する。その後、撮像した画像内でのボケ量分布が、基準としたボケ量分布と相違した場合に、ドライバーとカメラの間に別物体（例えば、ドライバーの腕）が存在することを検出する。
【０００６】
特許文献１では、このようにして撮像対象物との間の物体の存在を判定することにより、ドライバーの顔の向きを誤って認識してしまうことを防止している。
【０００７】
また、物体検出する他の技術の一例として、機械学習を積極的に利用することにより、物体検出の精度を高めると共に、画像処理における演算量を減少させる技術が非特許文献１に記載されている。
【０００８】
非特許文献１に記載の技術は、Ｖｉｏｌａ−Ｊｏｎｅｓ法と呼ばれるものである。そして、Ｖｉｏｌａ−Ｊｏｎｅｓ法では、Ｈａａｒ−ｌｉｋｅ特徴量を用いて複数の弱識別器を作成する。ここで、Ｈａａｒ−ｌｉｋｅ特徴量は、矩形特徴の黒領域の画素値の和と、矩形特徴の白領域の画素値の和との差として算出される。ここで、画素値としては一般的に輝度の値やＲＧＢ（Red、Green及びBlue）の値が使用される。
【０００９】
そして、非特許文献１に記載の技術では、Ｈａａｒ−ｌｉｋｅ特徴量を用いて複数の弱識別器を作成する。また、作成した複数の弱識別器に対してＡｄａＢｏｏｓｔと呼ばれる機械学習を行なう。そして、機械学習の結果に基づいて弱識別器を複数選択し、選択した弱識別器を組み合わせることにより、強識別器を作成する。
【００１０】
かかる強識別器を用いて画像を識別することにより、画像内の物体を検出することができる。例えば、デジタルカメラやビデオカメラの分野において顔検出を行なうことが可能となる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００９−２９４７８１号公報
【非特許文献】
【００１２】
【非特許文献１】Paul Viola and Michael Jones著“Robust Real-time Object Detection”［online］、平成１３年７月１３日、Second International Workshop on Statistical and Computational Theories of Vision- Modeling, Learning、［平成２７年６月２２日検索］、インターネット＜URL：http://www.wisdom.weizmann.ac.il/~vision/courses/2003_2/ICCV01-Viola-Jones.pdf＞
【非特許文献２】Renting Liu Zhaorong Li and Jiaya Jia著“Image Partial Blur Detection and Classification”［online］、Department of Computer Science and Engineering The Chinese University of Hong Kong、［平成２７年６月２２日検索］、インターネット＜URL：http://www.google.co.jp/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CCIQFjAA&url=http%3A%2F%2Fwww.cse.cuhk.edu.hk%2Fleojia%2Fall_final_papers%2Fblur_detect_cvpr08.pdf&ei=E3qHVfiMHcbJmAXu56CYDw&usg=AFQjCNEohu9jYKTEjXj3m4J_eKY_SavieQ&sig2=4YTyraLfhibx7ruM6SlwnQ&bvm=bv.96339352,d.dGc＞
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述した特許文献１に記載の技術や、非特許文献１に記載の技術を用いることにより、画像から物体を検出することが可能となる。
しかしながら、これら技術には、以下に述べるような課題が存在する。
【００１４】
まず特許文献１の技術は、そもそも基準となる被写体が存在しない場合には利用することができない。そのため、特許文献１の技術の用途は限定され、監視カメラ等の用途には利用することができないという課題が存在する。また、本質的に、画像全体に対して局所的なボケの分布を演算するのは困難であるという課題も存在する。更に、特許文献１に記載の技術では、何らかの物体の有無は検出できるかもしれないが、検出したい所定の物体のみを対象として検出することはできない。つまり、検出しようとしている物体以外の物体も検出してしまうという課題も存在する。
【００１５】
一方、非特許文献１に記載の技術では、上述のようにＲＧＢや輝度の値に基づいて特徴量を算出する。しかしながら、これらＲＧＢや輝度の値は検出対象の服装の色合いや日照条件等により大きくことなる。そのため、検出対象の服装の色合いや日照条件等により、弱識別器の判断結果に誤りが生じ、検出の信頼性が担保できないという問題が存在する。
【００１６】
例えば、検出対象の人間がチェック柄の服を着用していると、かかるチェック柄を物体の輪郭として誤認識してしまうような場合がある。また、日照条件が異なれば検出対象の輝度も異なる。そのため、同じ識別器であっても、或る日照条件であれば物体を検出できても、他の日照条件であれば物体が検出できない、という場合がある。
【００１７】
そこで、本発明は、高精度に物体を検出することが可能な、物体検出方法、物体検出装置及び物体検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の第１の観点によれば、物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、前記複数の弱識別器による検出結果に基づいて前記物体を検出することを特徴とする物体検出方法が提供される。
【００１９】
また、本発明の第２の観点によれば、上記第１の観点により提供される物体検出方法において、前記ボケ状態を表す指標の差異により表わされる特徴とは、前記物体を撮像した場合に前記物体の輪郭に対応して発生する、ボケ領域と非ボケ領域の境界を表す特徴であることが好ましい。
【００２０】
更に、本発明の第３の観点によれば、上記第１又は２の観点により提供される物体検出方法において、前記弱識別器は、前記部分画像内の第１の領域の前記ボケ状態を表す指標の差異により表わされる特徴と、前記部分画像内の第２の領域の前記ボケ状態を表す指標の差異により表わされる特徴との相違の程度を表す情報を含むことを特徴とすると好ましい。
【００２１】
更に、本発明の第４の観点によれば、上記第３の観点により提供される物体検出方法において、前記弱識別器は、前記第１の領域及び前記第２の領域の大きさと、前記第１の領域及び前記第２の領域の相対的な位置関係を表す情報を更に含むことを特徴とすると好ましい。
【００２２】
更に、本発明の第５の観点によれば、上記第１乃至４の何れかの観点により提供される物体検出方法において、前記部分画像から領域を切り出し、該切り出した領域を周波数変換し、周波数変換により得られた周波数成分に基づいて、前記領域に対応する前記ボケ状態を表す指標の差異により表わされる特徴を算出することを特徴とすると好ましい。
【００２３】
更に、本発明の第６の観点によれば、上記第１乃至５の何れかの観点により提供される物体検出方法において、前記部分画像から領域を切り出し、該切り出した領域を勾配ヒストグラムに変換するための関数及び前記切り出した領域から特徴点を抽出するための関数の何れか又は双方の関数に基づいて、前記領域に対応する前記ボケ状態を表す指標の差異により表わされる特徴を算出することを特徴とすると好ましい。
【００２４】
更に、本発明の第７の観点によれば、上記第１乃至６の何れかの観点により提供される物体検出方法において、前記複数の弱識別器による検出結果に基づいて、前記複数の弱識別器の中から一部の弱識別器を選択し、選択した弱識別器を組み合わせることにより強識別器を構築し、該強識別器により前記物体を検出することを特徴とすると好ましい。
【００２５】
本発明の第８の観点によれば、物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、前記複数の弱識別器による検出結果に基づいて前記物体を検出することを特徴とする物体検出装置が提供される。
【００２６】
本発明の第９の観点によれば、物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、前記複数の弱識別器による検出結果に基づいて前記物体を検出する物体検出装置としてコンピュータを機能させることを特徴とする物体検出プログラムが提供される。
【発明の効果】
【００２７】
本発明によれば、高精度に物体を検出することが可能となる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態である物体検出装置の基本的構成を表すブロック図である。
【図２】本発明の実施形態である物体検出装置内の制御部の基本的構成を表すブロック図である。
【図３】本発明の実施形態における機械学習処理の基本的動作を表すフローチャートである。
【図４】ＡｄａＢｏｏｓｔのアルゴリズムを表す図である。
【図５】本発明の実施形態における物体検出処理の基本的動作を表すフローチャートである。
【図６】本発明の実施形態におけるボケ特徴ｆの算出について表す図である。
【図７】本発明の実施形態において利用するマスクの一例を表す図である。
【図８】Ｈａａｒ−ｌｉｋｅ特徴における矩形領域の組み合わせの一例を表す図である。
【図９−１】本発明の実施形態による検出結果の一例を表す図（１／３）である。
【図９−２】本発明の実施形態による検出結果の一例を表す図（２／３）である。
【図９−３】本発明の実施形態による検出結果の一例を表す図（３／３）である。
【発明を実施するための形態】
【００２９】
まず、本発明の実施形態の概略を説明する。
【００３０】
本実施形態では、Ｈａａｒ−ｌｉｋｅ特徴のような矩形特徴量を用いた物体検出処理において、通常用いられている輝度やＲＧＢに代わり、ボケ量を矩形特徴量として利用する。
【００３１】
より詳細には、本実施形態によるボケ量を用いた物体検出手法は、非特許文献１に記載のＶｉｏｌａ−Ｊｏｎｅｓ法を改変した手法である。Ｖｉｏｌａ−Ｊｏｎｅｓ法では、Ｈａａｒ−ｌｉｋｅ特徴による特徴抽出とＡｄａＢｏｏｓｔによる学習によって識別器を構築している。これに対し、本実施形態では、学習アルゴリズムはＡｄａＢｏｏｓｔのままとする一方で、ボケ量に基づく特徴を抽出し、抽出したボケ量に基づく特徴を用いて識別器を構築する。そして、かかる識別器により物体の検出を行なう。
【００３２】
この点、ボケ量の相対的関係性は、輝度やＲＧＢほどには検出対象の人物の服装の色合いや日照条件等に影響を受けない。そのため、ボケ量を用いて物体検出を行なう本実施形態は、輝度やＲＧＢを用いて物体検出を行なうという一般的な技術と比べて、検出対象の人物の服装の色合いや日照条件等に影響を受けないことから、精度の高い検出を行なうことが可能となる。
以上が本実施形態の概略である。
次に、本発明の実施形態について図面を参照して詳細に説明する。
【００３３】
まず、本実施形態である物体検出装置１００に含まれる機能ブロックについて図１及び図２を参照して説明する。
【００３４】
図１を参照すると、物体検出装置１００は、制御部１１０、記憶部１２０、表示部１３０及び入出力部１４０を含む。
物体検出装置１００は、ボケ量に基づく特徴抽出手法を用いた物体検出を行なう装置である。
【００３５】
制御部１１０は、物体検出装置１００全体を制御する部分である。物体検出装置１００には、演算処理を行なうためのＣＰＵ（Central Processing Unit）や、ＣＰＵがプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）をハードウェアとして含む。そして、かかるＣＰＵが、記憶部１２０から各種制御用プログラムを読み込み、読み込んだ制御用プログラムをＲＡＭにて展開させながら、これらの各種制御用プログラムに基づいた演算処理を行なう。そして、制御部１１０は、演算結果に基づいて物体検出装置１００内のハードウェアを制御することにより、物体検出装置１００の各機能は実現される。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。
【００３６】
記憶部１２０は、制御部１１０が利用する各種のデータを記憶する部分である。記憶部１２０は、上述した各種制御用プログラムの他に、制御部１１０が抽出したボケ量に基づく特徴や、制御部１１０により構築された識別器等を記憶する。記憶部１２０は、例えば、ＨＤＤ（Hard Disk Drive）や、ＳＳＤ（Solid State Drive）といった記憶装置により実現される。
【００３７】
表示部１３０は、各種の情報をユーザに対して表示する表示部である。表示部には、例えば、ユーザの操作を受け付けるためのユーザインターフェースや、物体の検出処理の対象とする画像や、物体の検出結果等が表示される。表示部１３０は、例えば、液晶ディスプレイや、有機ＥＬ（Electroluminescence）ディスプレイにより実現される。
【００３８】
入出力部１４０は、物体検出装置１００と他の装置とを接続するためのインターフェースである。制御部１１０は、入出力部１４０に接続された他の装置や、入出力部１４０に挿入された記録媒体との間で情報を送受信することができる。
【００３９】
他の装置とは、例えば、物体検出処理の対象とする画像等を撮像するカメラである。あるいは、他の装置とは、例えば、機械学習に用いるサンプル画像等を入力したりするパーソナルコンピュータである。更に、記録媒体とは画像等のデータが記録されている記録媒体である。入出力部１４０は、ＵＳＢ（Universal Serial Bus）等の規格に準じたインターフェースにより実現することができる。また、入出力部１４０をインターネット等のネットワークに接続し、制御部１１０がネットワーク経由で他の装置と情報を送受信するようにしてもよい。
【００４０】
以上、物体検出装置１００に含まれる各機能ブロックについて説明した。ただし、以上説明した各機能ブロックは、本実施形態における処理に特に関連する部分だけである。物体検出装置１００は、電源部等の、図示を省略した一般的な他の機能ブロックを含んでいるものとする。
【００４１】
次に、図２を参照して、制御部１１０が行なう演算処理により実現される３つの機能ブロックについて説明する。図２に表わされるように、制御部１１０は、特徴抽出部１１１、機械学習部１１２及び物体検出部１１３の３つの機能ブロックを実現する。
【００４２】
特徴抽出部１１１は、輝度に基づいたＨａａｒ−ｌｉｋｅ特徴に代えて、入力画像のボケ量に基づいた矩形特徴量（以下「ボケ特徴ｆ」と呼ぶ。）を抽出する。ここで、ボケ特徴ｆの抽出対象となる入力画像とは、例えば、識別器を作成するためのサンプル画像や、物体の検出対象とする検出対象画像といった画像である。
【００４３】
機械学習部１１２は、特徴抽出部１１１がサンプル画像から抽出したボケ特徴ｆに基づいて、ＡｄａＢｏｏｓｔによる機械学習を行い、これにより強識別器を構築する機能を有する。
【００４４】
物体検出部１１３は、特徴抽出部１１１が検出対象画像から抽出したボケ特徴ｆと、機械学習部１１２により構築された強識別器を用いて物体検出処理を行なう機能を有する。
【００４５】
次に、これら３つの機能ブロックの動作について、図３のフローチャートを参照して説明をする。なお、以下の動作においては、トレーニング用のサンプル画像及び物体検出処理の対象とする検出対象画像という各種の画像に対してボケ特徴ｆの抽出処理を行なう。これらの画像は、入出力部１４０を介して接続される他の装置や記録媒体、あるいは記憶部１２０から取得する。
【００４６】
まず、特徴抽出部１１１が、識別器を構築するために用意された複数のトレーニング用のサンプル画像に対して特徴抽出処理を行い、各サンプル画像からボケ特徴ｆを抽出する。そして、これに基づいて弱識別器を構築する（ステップＳ１１）。
【００４７】
作成される弱識別器の数は多い方が好ましく、例えば数千個の弱識別器を作成する。作成した複数の弱識別器は、機械学習部１１２に入力するか、記憶部１２０に記憶する。なお、特徴抽出部１１１によるボケ特徴ｆの抽出方法の具体的な内容については後述する。
【００４８】
次に、機械学習部１１２が、ステップＳ１１において構築されたサンプル画像のボケ特徴ｆに基づいてＡｄａＢｏｏｓｔによる学習を行なう。そして、学習の結果に基づいて強識別器を作成する（ステップＳ１２）。
【００４９】
ここで、ＡｄａＢｏｏｓｔのアルゴリズムを図４に表す。アルゴリズム中の「ｆ」は、通常は輝度に基づくＨａａｒ−ｌｉｋｅ特徴であるが、本実施形態ではステップＳ１１において算出したボケ特徴ｆをこれに代えて用いることによりアルゴリズムを実行する。
【００５０】
そして、機械学習部１１２は、ＡｄａＢｏｏｓｔのアルゴリズムを実行することにより構築した強識別器を記憶部１２０に格納する（ステップＳ２１）。記憶部１２０に記憶された強識別器は、その後、物体検出処理を行なう際に利用される。これにより、機械学習についての処理は終了する。
【００５１】
次に、物体検出処理についての説明を行なう。まず、特徴抽出部１１１が、物体を検出する対象とする検出対象画像に対して特徴抽出処理を行い、検出対象画像からボケ特徴ｆを抽出する（ステップＳ２１）。
【００５２】
次に、物体検出部１１３が、ステップＳ１２において構築され、ステップＳ１３において記憶部１２０に格納された強識別器を、記憶部１２０から読み出す（ステップＳ２２）。
【００５３】
そして、物体検出部１１３が、ステップＳ２１において抽出した検出対象画像のボケ特徴ｆと、ステップＳ２２において読み出した強識別器とに基づいて物体の検出処理を行なう（ステップＳ２３）。この際、検出結果を統合する等の後処理も併せておこなうようにすると良い。
【００５４】
最後に、物体検出部１１３が、ステップＳ２３における検出処理の処理結果を出力する（ステップＳ２４）。ここで処理結果とは、例えば、物体が検出できたか否かを表す情報と、物体が検出できた場合には、物体が画像内のどの位置で検出されたかを表す情報である。
【００５５】
出力は、これら情報を、表示部１３０に表示することにより行なう。例えば、検出処理の対象とした画像上の物体を検出した位置に、物体を検出したことを表す記号を重畳した画像を構築して表示部１３０に表示する。これを参照したユーザは、物体が検出できたか否かということと、物体が検出できた場合には画像内のどの位置に物体が存在していたかということを把握することが可能となる。
【００５６】
なお、検出結果を表示部１３０表示することは、検出結果を出力するための手段の一例に過ぎず、本発明の実施形態において必ずしも表示を行なう必要はない。つまり、ステップＳ２４において検出結果の表示を行なうのではなく、検出結果を記憶部１２０に記憶させたり、検出結果を入出力部１４０を介して外部の装置に出力させたりするようにしても良い。また、このような記憶処理や出力処理と共に、表示処理を行なうようにしても良い。
【００５７】
以上、本実施形態の処理について説明した。ここで、本実施形態の処理は、Ｈａａｒ−ｌｉｋｅ特徴に代えて特徴抽出部が抽出したボケ特徴ｆを使用する点以外において非特許文献１に記載されている処理と同等である。そのため、上述の説明ではボケ特徴ｆを使用する点以外についての詳細な説明については省略した。
【００５８】
一方で、ステップＳ１１やステップＳ２１にて行なう、画像のボケ量に基づいた矩形特徴量であるボケ特徴ｆの抽出は本実施形態特有のものである。そこで、これらステップＳ１１やステップＳ２１にて行なう、ボケ特徴ｆの抽出について、図６のフローチャートを参照して更に詳細に説明をする。
【００５９】
図６に表わされるように、特徴抽出部１１１は、まず、トレーニング用のサンプル画像や、物体検出処理の対象とする検出対象画像といった入力画像をグレースケール画像に変換する（ステップＳ１）。
【００６０】
また、特徴抽出部１１１は、変換後のグレースケール画像からＨａａｒ−ｌｉｋｅ特徴の矩形領域に相当する領域の画像を切り出す（ステップＳ２）。
更に、特徴抽出部１１１は、切り出した画像に窓関数を乗算する（ステップＳ３）。
【００６１】
更に、特徴抽出部１１１は、窓関数を乗算した画像に対して離散フーリエ変換を行い周波数スペクトルに変換する（ステップＳ４）。なお、ステップＳ４までの色空間変換から周波数領域への変換処理は一般的な処理であるが、以下のステップＳ５及びステップＳ６における処理は、本実施形態特有の処理となる。
【００６２】
次に、矩形領域に対するスコアを計算する（ステップＳ５）。ここで、本実施形態ではボケ量に基づくスコアの計算にあたり、周波数スペクトルからボケ特徴ｆを抽出するためのマスクを用いる。かかるマスクの一例を図７に示す。
【００６３】
図７を参照すると、ステップＳ４において変換した周波数領域全体を上下左右の４つの領域に四等分した場合の、左下の領域の中央にｍａｓｋＡという領域が確保されている。また、周波数領域全体を上下左右の４つの領域に四等分した場合の、左下の領域の右上にｍａｓｋＢという領域が確保されている。これら２つのマスクの領域それぞれについて、以下の式（１）を用いてそれぞれのスコアを算出する。
【００６４】
【数１】
2017016548.tif 000003
【００６５】
ここで、上記式（１）において、ｓｕｍは、図７におけるマスクによって展開される領域の周波数成分の値の総和を表し、ａｒｅａは、図７におけるマスクによって展開される領域の面積を表し、ｓｃｏｒｅはマスクの領域のスコアを表す。
【００６６】
かかる式（１）に基づいて、ｍａｓｋＡの領域とｍａｓｋＢの領域それぞれのスコアを求める。そして、この２つの領域のスコアに基づいて以下の式（２）により矩形特徴のスコアを求める。
【００６７】
【数２】
2017016548.tif 000004
【００６８】
ここで、上記式（１）において、ｓｃｏｒｅＡは、図７におけるｍａｓｋＡによって展開される領域のスコアを表し、ｓｃｏｒｅＢは、図７におけるｍａｓｋＢによって展開される領域のスコアを表し、ｓｃｏｒｅｒｅｃｔは矩形領域全体のスコアを表す。
【００６９】
そして、Ｈａａｒ−ｌｉｋｅ特徴と同様に複数の矩形領域それぞれのスコアの差分を算出する。ここで、複数の矩形領域とは、図８に表わされるようにＨａａｒ−ｌｉｋｅ特徴と同様に例えば、縦、横又は斜め方向の位置関係に有る２つの矩形領域である。そして、２つの矩形領域間にボケ度の差が存在するか否かを測定する。
【００７０】
そのために、これら２つの矩形領域それぞれのスコアを上記の式（１）及び式（２）によって求める。そして、この２つの矩形領域のスコアを用い、以下の式（３）の計算を行うことにより、輝度に基づいたＨａａｒ−ｌｉｋｅ特徴に代わる、ボケ量に基づいたボケ特徴ｆを算出する（ステップＳ６）。
【００７１】
【数３】
2017016548.tif 000005
【００７２】
ここで、上記式（３）において、ｓｃｏｒｅｒｅｃｔ０は、図８における２つの矩形領域の内の一方の矩形領域のボケ量に基づくスコアを表し、ｓｃｏｒｅｒｅｃｔ１は、図８における２つの矩形領域の内の他方の矩形領域のボケ量に基づくスコアを表し、ｆは、輝度に基づいたＨａａｒ−ｌｉｋｅ特徴に代わる、ボケ量から得られるボケ特徴ｆを表す。
【００７３】
そして、このようにして算出したボケ特徴ｆを、輝度に基づいたＨａａｒ−ｌｉｋｅ特徴に代えて、図３に表す各ステップでの処理を行なうことにより画像のボケ特徴に基づいた物体検出を行なうことが可能となる。
【００７４】
この点、上述したようにボケ量の相対的関係性は、輝度やＲＧＢほどには検出対象の人物の服装の色合いや日照条件等に影響を受けない。そのため、ボケ量を用いて物体検出を行なう本実施形態は、輝度やＲＧＢを用いて物体検出を行なう通常の技術と比べて服装の色合いや日照条件等に影響を受けず、検出の信頼性を向上させることが可能となる。
【００７５】
上述した本実施形態の処理の有効性を示すために、上記の手法で構築された強識別器を用いて物体検出の実験を行った。
【００７６】
本実験において、トレーニングに用いるポジティブサンプルとしては、前景に単純な形状の物体が存在し、背景にフォーカスが外れたことに起因するボケ（Ｆｏｃｕｓ  Ｂｌｕｒ）に相当するガウスぼかし（Ｇａｕｓｓｉａｎ  Ｂｌｕｒ）が生じた画像を用いた。
【００７７】
また、ネガティブサンプルとしては、様々な画像に対して様々なパラメタでガウスぼかし（Ｇａｕｓｓｉａｎ  Ｂｌｕｒ）を生じさせた画像を用いた。
【００７８】
このようなトレーニングサンプルを用いて、丸の輪郭を検出するように学習を行った強識別器を用いて全画面探索を行った結果を図９−１乃至図９−３に表す。これら図を参照すると、丸及び矩形に合焦すると共に、他のボケ部分の色彩等が異なる様々な画像において、合焦している丸の輪郭に基づいて画像内の丸を検出している一方で、矩形の輪郭に基づいて矩形が誤検出されるようなことは起きていない。このように、本実施形態によって、適切な検出結果を得ることが可能となる。
【００７９】
なぜならば、本実施形態では、ボケ領域と非ボケ領域の境界が物体境界であることを前提として、一部の撮影対象のみに焦点が合っている画像内の各矩形領域のボケ度の差に基づいてボケ領域と非ボケ領域の境界を検出することにより物体を検出できるからである。また、検出においては、物体の輪郭全てを検出しなくとも、物体の輪郭の内の特徴的な部分を検出すれば、物体を検出することができるからである。
【００８０】
なお、上記の物体検出装置は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記の物体検出装置により行なわれる物体検出方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【００８１】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。
【００８２】
また、上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【００８３】
以上説明した実施形態では、ステップＳ２において、Ｈａａｒ−ｌｉｋｅ特徴の矩形領域に相当する画像を切り出していた。そして、例えば、図８に表すような隣接する関係の矩形領域の画像のボケ量に対応するスコアの差分を算出していた。
【００８４】
この点、Ｈａａｒ−ｌｉｋｅ特徴の矩形領域とは異なる矩形領域の画像を切り出すようにしても良い。例えば、他の矩形領域とは隣接していない位置にある矩形領域の画像を切り出すようにしても良い。また、図８の例では２つの隣接する矩形領域のスコアの差分を算出していたが、例えば、３つの矩形領域のスコアの差分を算出するようにしても良い。例えば、第１の領域、第２の領域及び第３の領域があったとしたならば、第１の領域と第２の領域の差分と、第２の領域と第３の領域の差分とを算出するようにしても良い。
【００８５】
また、各領域のスコアの差分を算出するのではなく、各領域のスコアの値に基づいて各領域をラベリングし、ラベリングしたラベルに基づいて弱識別器との比較を行なうようにしても良い。例えば、スコアの値に応じて８つのラベルの何れかにラベリングを行なうようにする。具体的には、スコアの値が第１の値以上第２の値未満であればラベル１、スコアの値が第２の値以上第３の値未満であればラベル２というようにラベリングを行なう。そして、弱識別器のラベルの値と、検出対象画像のラベルの値を比較することにより、物体を検出するようにすると良い。
【００８６】
更に、差分を算出するにあたり、各領域の周波数成分に基づくスコアそのものの差分を算出するのではなく、各領域のスコアを自乗した値の差分を算出したり、各領域のスコアの絶対値の差分を算出するようにしても良い。このようにすれば閾値の比較が容易になる場合があるので良い。
【００８７】
また、ステップＳ３においては、窓関数を乗算していたが、窓関数を乗算しないようにしても良い。つまり、ステップＳ３を行わないようにしても良い。
【００８８】
更に、ステップＳ４では、離散フーリエ変換を行ったが、離散コサイン変換、離散サイン変換又は離散ウェーブレット変換を行なうようにしても良い。
【００８９】
更に、ボケ特徴ｆの算出方法として、矩形内の勾配ヒストグラムの分布に応じてボケ特徴ｆを算出するようにしても良い。この点、非特許文献２に記載されているように、矩形内の画像がボケているほど勾配ヒストグラムの分布が広がる傾向があることが知られている。つまり、勾配ヒストグラムの分布はボケ度に応じて変化するため、ボケ度を表す指標となる。そこで、勾配ヒストグラムの分布に基づいてボケ特徴ｆを算出するようにしても良い。
【００９０】
更に、ボケ特徴ｆの算出方法として、矩形内の特徴点の数に応じてボケ特徴ｆを算出するようにしても良い。この点、対象物を撮像した際に、ボケが少ないほど多くの特徴点が抽出でき、ボケが多くなるにつれて特徴点を抽出することが困難となる。つまり、特徴点の数はボケ度に応じて変化するため、ボケ度を表す指標となる。そこで、特徴点の数に基づいてボケ特徴ｆを算出するようにしても良い。なお、特徴点を抽出する手法に特に限定はなく、任意の手法を利用することができる。
【００９１】
更に、周波数変換によるボケ度の評価、勾配ヒストグラムの分布に応じたボケ度の評価、及び特徴点の数に応じたボケ度の評価を組み合わせるようにしても良い。そして、これらの評価に応じて多数の弱識別器を構築するようにすると良い。このように、ボケ度を多様な方法で評価することにより、より多くの手法で弱識別器を作成し、作成した多くの弱識別器により機械学習を行なうことにより、より検出精度が高い強識別器を作成できる可能性が高くなるので良い。
【００９２】
また、矩形内のボケ度の代表値であるスコアの取り方として、上述の説明ではマスク内の領域の周波数成分をマスクの面積で除算することにスコアを算出していた。そうするのではなく、矩形領域内の周波数成分の平均値や中央値をスコアとして算出するようにしても良い。また、矩形内の周波数成分の分布に基づいてボケ度のスコアを推定し、その推定結果に基づいて機械学習を行なうことにより、矩形内の周波数成分の分布からより正確にボケ度のスコアを算出できるようにしても良い。
【００９３】
更に、上述の説明では、図７に表すように４分割した領域のうちの１つの領域のみを使って計算を行った。しかし、このようにするのではなく、スコア計算を４分割した領域それぞれに対して行い、その平均値を用いてボケ特徴ｆを算出するようにしても良い。また上述の式（２）では、ｓｃｏｒｅＡからｓｃｏｒｅＢを減算することによりｓｃｏｒｅｒｅｃｔを算出していた。こうするのではなく、ｓｃｏｒｅＡをｓｃｏｒｅＢで除算することによりｓｃｏｒｅｒｅｃｔを算出するようにしても良い。
【００９４】
更に、上述の説明では、ステップＳ１２においてＡｄａＢｏｏｓｔによる機械学習を行った。これ以外にも他のブースティング手法を用いたり、ＳＶＭ（support vector machine）による機械学習を行ったり、ニューラルネットワークによる機械学習を行ったりするようにしても良い。
【００９５】
更に、ステップＳ２３において、複数の強識別器を組み合わせて物体検出を行なうようにしても良い。例えば、複数の強識別器をカスケード接続して物体検出を行なうようにしても良い。
【００９６】
更に、上述の説明では、ステップＳ２４において検出結果を表示部１３０に表示していた。この点、物体検出装置１００自身が表示部１３０のような表示部を備えるのではなく、物体検出装置１００と外部の表示装置と接続し、表示装置に検出結果を表示するようにしても良い。
【００９７】
更に、上述の説明では、ボケ特徴ｆを抽出するために、入力画像に対してステップＳ１乃至ステップＳ６のような処理を行っていた。この点、かかるステップＳ１乃至ステップＳ６の処理を行なう前に、所定の前処理を行なうようにしても良い。例えば入力画像に対して、ノイズ除去、平滑化、信号強調、統計処理等といった前処理を行なうようにしても良い。
【００９８】
本実施形態は、物体の検出の用途に広く好適である。この点、本実施形態は、輝度やＲＧＢほどには検出対象の人物の服装の色合いや日照条件等に影響を受けないボケ量に基づいて物体の検出を行なう。そのため、本実施形態は、人物の服装の色合いが人物毎に異なるような環境下での人物の検出に好適である。また、屋外のような日照条件が変化するような環境下での物体の検出にも好適である。
【００９９】
更に、検出対象の物体を検出したい位置にピントが合うようなカメラにより画像を撮像して検出対象画像とする良い。例えば、カメラから１０メートル先に自動車が存在することを検出したい、という目的があったとしたならば、カメラから１０メートル先にピントが合うようなカメラにより画像を撮像して検出対象画像とする良い。これにより、１０メートル先の自動車にピントが合うことになり、ボケ度の差異が明確となるので良い。
【産業上の利用可能性】
【０１００】
本発明は、物体の検出の用途に広く好適である。例えば、防犯カメラや監視カメラが撮像した画像からの物体検出に好適である。
【符号の説明】
【０１０１】
１００  物体検出装置
１１０  制御部
１１１  特徴抽出部
１１２  機械学習部
１１３  物体検出部
１２０  記憶部
１３０  表示部
１４０  入出力部
【図１】
2017016548.tif 000006
【図２】
2017016548.tif 000007
【図３】
2017016548.tif 000008
【図４】
2017016548.tif 000009
【図５】
2017016548.tif 000010
【図６】
2017016548.tif 000011
【図７】
2017016548.tif 000012
【図８】
2017016548.tif 000013
【図９−１】
2017016548.tif 000014
【図９−２】
2017016548.tif 000015
【図９−３】
2017016548.tif 000016