(57)【要約】【課題】連続して入力された画像のシーンに依存することなく、高精度に、かつ所定の時間内にオブジェクト検出処理を行うことが可能なオブジェクト検出方法、オブジェクト検出プログラムを提供する。【解決手段】連続して撮影された画像の各々の画像内に設定スキャンウィンドゥを設定するスキャンウィンドゥ設定手段と、前記設定スキャンウィンドゥ内の画像に対して第１のオブジェクト検出を実行し前段処理結果を出力する第１のオブジェクト検出手段と、第２のオブジェクト検出手段によって検出された過去処理結果を保持する過去処理結果保存部と、前記前段処理結果と前記過去処理結果に基づき選択スキャンウインドゥを選択するスキャンウインドゥ選択部と、前記選択スキャンウインドゥからオブジェクトを検出する前記第２のオブジェクト検出部とによって構成されるオブジェクト検出装置。【選択図】図１
2011198006.tif 000002
【特許請求の範囲】
【請求項１】
連続して撮影された画像の各々の画像内に設定スキャンウィンドゥを設定するスキャンウィンドゥ設定手段と、
前記設定スキャンウィンドゥ内の画像に対して第１のオブジェクト検出を実行し前段処理結果を出力する第１のオブジェクト検出手段と、
前記連続して撮影された画像の過去の画像から第２のオブジェクト検出手段によって検出された過去処理結果を保持する過去処理結果保存部と、
前記前段処理結果と前記過去処理結果に基づき選択スキャンウインドゥを選択するスキャンウインドゥ選択部と、
前記選択スキャンウインドゥからオブジェクトを検出する前記第２のオブジェクト検出部とによって構成されるオブジェクト検出装置。
【請求項２】
前記過去処理結果保存部に保持された過去処理結果は、前記連続して撮影された該画像より以前に撮影された前記選択スキャンウィンドゥの画像に対する前記第２のオブジェクト検出手段の検出結果であることを特徴とするオブジェクト検出装置。
【請求項３】
前記前段処理結果は前記連続して撮影された画像該画像の前記設定スキャンウインドゥの位置およびサイズであり、
前記過去処理結果は前記該画像より以前に撮影された選択スキャンウィンドゥの位置およびサイズであることを特徴とする請求項２記載のオブジェクト検出装置。
【請求項４】
前記スキャンウィンドゥ選択手段は、前記該画像より以前に撮影された選択スキャンウィンドゥの位置と該画像の設定スキャンウィンドゥの重なり度合いに応じて選択スキャンウィンドゥを選択することを特徴とする請求項３に記載のオブジェクト検出装置。
【請求項５】
連続して撮影された各々の画像をサイズの異なる少なくとも２つ以上の画像に拡大または縮小してスケール画像を作成するスケール画像生成手段を有し、
前記スキャンウィンドゥ設定手段は前記スケール画像に対して設定スキャンウィンドゥを設定することを特徴とする請求項１記載のオブジェクト検出装置。
【請求項６】
前記過去処理結果保持部は、前記第２のオブジェクト検出部によって検出された検出結果を前記スケール画像に拡張した結果を保持することを特徴とする請求項１記載のオブジェクト検出装置。
【請求項７】
連続して撮影された画像の各々の画像内に設定スキャンウィンドゥを設定するスキャンウィンドゥ設定ステップと、
前記設定スキャンウィンドゥ内の画像に対して第１のオブジェクト検出を実行し前段処理結果を出力する第１のオブジェクト検出ステップと、
前記連続して撮影された画像の過去の画像から第２のオブジェクト検出ステップによって検出された過去処理結果を保持する過去処理結果保存ステップと、
前記前段処理結果と前記過去処理結果に基づき選択スキャンウインドゥを選択するスキャンウインドゥ選択ステップと、
前記選択スキャンウインドゥからオブジェクトを検出する第２のオブジェクト検出ステップとによって構成されるオブジェクト検出装置。
【請求項８】
コンピュータに、
連続して撮影された画像の各々の画像内に設定スキャンウィンドゥを設定するスキャンウィンドゥ設定ステップと、
前記設定スキャンウィンドゥ内の画像に対して第１のオブジェクト検出を実行し前段処
理結果を出力する第１のオブジェクト検出ステップと、
第２のオブジェクト検出手段によって検出された過去処理結果を保持する過去処理結果保存ステップと、
前記前段処理結果と前記過去処理結果に基づき選択スキャンウインドゥを選択するスキャンウインドゥ選択ステップと、
前記選択スキャンウインドゥからオブジェクトを検出する第２のオブジェクト検出ステップとを実行させるオブジェクトプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続して撮影された画像から、対象となるオブジェクトの検出を行うためのオブジェクト検出装置、オブジェクト検出方法、およびオブジェクト検出プログラムに関するものである。
【背景技術】
【０００２】
連続して撮影された画像から、特定のオブジェクトの検出を行う技術をオブジェクト検出技術と呼び、対象となるオブジェクトとしては、人物や車、二輪車、動物などがある。
【０００３】
一般的なオブジェクト検出技術では、所定サイズの矩形（スキャンウィンドゥと呼ぶ）で走査を行い、各スキャンウィンドゥ内に、特定のオブジェクトが含まれるか否かをオブジェクト検出器を用いて判定する。
【０００４】
オブジェクト検出技術は、各スキャンウィンドゥ内から特徴量を抽出する特徴量抽出器と、抽出した特徴量を入力とし、各スキャンウィンドゥ内に、特定のオブジェクトが含まれるか否かを判定するオブジェクト検出器から構成される。
【０００５】
例えば特許文献１では、特徴量として、局所領域における輝度勾配強度を方向別にヒストグラム化したHOG（Hitogram of Oriented Gradient）特徴量を各スキャンウィンドゥから抽出し、オブジェクト検出器への入力としている。オブジェクト検出器は、統計的学習手法のひとつであるブースティング法を用いて構築されており、検出精度の低いオブジェクト検出器（弱識別器と呼ぶ）を多数組み合わせ、これらをアンサンブルすることで、検出エラー率の低いオブジェクト検出器（強識別器と呼ぶ）を構築している。
【０００６】
さらに特許文献１では、ブースティング法を用いて構築した強識別器に対し、精度の異なる強識別器を、さらに複数段連結させたカスケード型オブジェクト検出器を用いており（ひとつの段をステージと呼ぶ）、すべてのステージを通過したスキャンウィンドゥに対して、特定のオブジェクトが含まれると判定させている。カスケード型オブジェクト検出器では、非検出対象となるスキャンウィンドゥをカスケード型オブジェクト検出器の前半のステージの時点で棄却し、後半のステージのオブジェクト検出処理を省略することで、オブジェクト検出処理の高速化を実現している。
【０００７】
また、非特許文献１では、スキャンウィンドゥ内からHOG特徴量、色周波数特徴量、共分散行列特徴量を抽出し、合わせて１７０，８２０次元の特徴量ベクトルを生成している。この特徴量の中から、オブジェクト検出に有用な特徴量の選択を行い、選択された少数の特徴量だけをオブジェクト検出器への入力とする高速なオブジェクト検出器を実現し、カスケード型オブジェクト検出器の前段ステージとしている。一方、特徴量の選択を行わず、抽出した１７０，８２０次元全ての特徴量を入力とすることで、高精度なオブジェクト検出処理を実現したオブジェクト検出器を、カスケード型オブジェクト検出器の後段ステージとし、以上２つのオブジェクト検出器を連結させた２段ステージ構成のカスケード型オブジェクト検出器を構築している。このような構成により、非検出対象となるスキャンウィンドゥを、高速なカスケード型オブジェクト検出器の前段ステージの時点で棄却し、後段ステージのオブジェクト検出処理を省略することが可能となり、オブジェクト検出処理の高速化を実現している。
【０００８】
図１０に、従来のオブジェクト検出装置を示す。図１０において、カメラ部１００１に
よって撮影された画像に対して、スキャンウインドゥ設定部１００２によりスキャンウインドゥが設定され、第１のオブジェクト検出部１００３によってオブジェクトが検出される。第１のオブジェクト検出部１００３は、高速なオブジェクト検出部であり、カメラ部によって撮影された画像の全ての位置においてオブジェクト検出が実施される。
前段処理結果保存部１００４には、その結果が保存され、この結果に対して第２のオブジェクト検出部１００５によってオブジェクト検出が行われ、検出結果表示部１００６にその結果が表示される。第２のオブジェクト検出部１００５は高精度なオブジェクト検出であり、第１のオブジェクト検出部１００３によって検出された結果に基づいて行われる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許出願公開第２００７／０２３７３８７号明細書
【非特許文献】
【００１０】
【非特許文献１】W. R. Schwartz, A. Kembhavi, D. Harwood and L. S. Davis, 「Human Detection Using Partial Least Squares Analysis」, The 12th IEEE International Conference on Computer Vision, Kyoto, JAPAN, pages 24-31, September 2009.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、非特許文献１、および特許文献１、あるいは図１０に示す従来のオブジェクト検出装置にて提案されているカスケード型オブジェクト検出器を用いた場合、下記のような課題がある。
【００１２】
カスケード型オブジェクト検出器を用いた場合、非検出対象となるスキャンウィンドゥを、カスケード型オブジェクト検出器の前段ステージの時点で棄却し、カスケード型オブジェクト検出器の後段ステージのオブジェクト検出処理を省略することで、オブジェクト検出処理を高速化できる。しかしながら、入力される画像に依存して、カスケード型オブジェクト検出器の前段ステージを通過するスキャンウィンドゥの数が変動する。これに伴い、後段ステージがオブジェクト検出処理するスキャンウィンドゥの数も変動し、結果的にカスケード型オブジェクト検出器全体のオブジェクト検出処理時間も、入力される画像に依存して変動してしまう。
【００１３】
例えば、対象となるオブジェクトが人物の場合、人物と似通った形状や、色のオブジェクト（木や電柱、人形など）が多く含まれるシーンにおいてオブジェクト検出処理を行うと、検出精度が低いカスケード型オブジェクト検出器の前段ステージだけではスキャンウィンドゥを棄却することが出来ず、多くのスキャンウィンドゥが検出精度の高い後段ステージに対して受け渡されることになる。一般的にカスケード型オブジェクト検出器の後段ステージは、オブジェクト検出精度は高い一方で、オブジェクト検出速度は遅いという性質を持つため、オブジェクト検出処理すべきスキャンウィンドゥの数が増加するほど、カスケード型オブジェクト検出器全体のオブジェクト検出処理時間の増加も顕著になる。
【００１４】
また、オブジェクト検出技術をカメラなどのハードウェアに組み込む場合には、リアルタイム処理が必須となる。オブジェクト検出処理は、ハードウェアの他の処理プロセスに影響を与えぬように、常に一定時間内に終了しなければならない。しかしながら、カスケード型オブジェクト検出器のように、入力された画像に依存してオブジェクト検出処理時間が変動する場合、一定時間内にオブジェクト検出処理が終了しない可能性が生じる。その結果、リアルタイム処理を優先すると、入力された画像に依存してオブジェクト検出処理はスキャンウィンドゥの走査の途中で強制的に打ち切られる場合があり、結果的に未検
出が増加し、オブジェクト検出精度を保つことが困難になる。
【００１５】
図１０に示した従来のオブジェクト検出装置について、図１１を用いて具体的に説明する。カメラ部１００１から入力された画像に対して、スキャンウインドゥ設定部１００２によってスキャンウインドゥが設定され、カスケード型オブジェクト検出器の前段ステージである第１のオブジェクト検出部１００３によってオブジェクトが検出されると、オブジェクトが検出されたスキャンウインドゥ群１１０１が出力される。この際、入力画像によって出力されるスキャンウィンドゥ群１１０１の数は変動する。この数が多い場合、一定時間内にオブジェクト検出処理を終えるために、カスケード型オブジェクト検出器の後段ステージである第２のオブジェクト検出部１００５においては、スキャンウィンドゥの走査の順に、限られたスキャンウィンドゥのみオブジェクト検出処理が行われるようになる（１１０２）。このような場合、オブジェクト検出処理はスキャンウィンドゥの走査の途中で強制的に打ち切られ、例えば１１０３のような検出対象オブジェクト（ここでは人物）のオブジェクト検出処理は第２のオブジェクト検出部１００５において行われず、結果としてオブジェクト検出精度を保つことが困難になる。
【００１６】
本発明は、従来の問題を解決するためになされたものであり、カスケード型オブジェクト識別機の本来の特徴である高速処理も可能な一方で、入力された画像に依存することなく、高精度に、かつ所定の時間内にオブジェクト検出処理を終了することができる、カスケード型のオブジェクト検出装置、オブジェクト検出方法、およびオブジェクト検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明のオブジェクト検出装置は、連続して撮影された画像の各々の画像内に設定スキャンウィンドゥを設定するスキャンウィンドゥ設定手段と、前記設定スキャンウィンドゥ内の画像に対して第１のオブジェクト検出を実行し前段処理結果を出力する第１のオブジェクト検出手段と、前記連続して撮影された画像の過去の画像から第２のオブジェクト検出手段によって検出された過去処理結果を保持する過去処理結果保存部と、前記前段処理結果と前記過去処理結果に基づき選択スキャンウインドゥを選択するスキャンウインドゥ選択部と、前記選択スキャンウインドゥからオブジェクトを検出する第２のオブジェクト検出部との構成を有している。
【００１８】
この構成により、カスケード型オブジェクト検出器の後段ステージに相当する、第２のオブジェクト検出手段へ受け渡されるスキャンウィンドゥが、スキャンウィンドゥ選択手段によって、第１のオブジェクト検出手段の処理結果と、過去に入力された画像に対する第２のオブジェクト検出手段の処理結果に基づき、検出対象オブジェクトが含まれる可能性の高いスキャンウィンドゥから優先的に所定数選択されるため、オブジェクト検出処理を高精度に、かつ所定のオブジェクト検出処理時間内に行うことができる。
【００１９】
また、本発明のオブジェクト検出装置は、前記過去処理結果保存部に保持された過去処理結果は、前記連続して撮影された該画像より以前に撮影された前記選択スキャンウィンドゥの画像に対する前記第２のオブジェクト検出手段の検出結果であることを特徴としている。
【００２０】
この構成により、過去に処理された画像からのオブジェクト検出結果を反映させてオブジェクト検出を行うので、高精度のオブジェクト検出を行うことが出来る。
【００２１】
さらに、本発明のオブジェクト検出装置は、前記前段処理結果は前記連続して撮影された画像該画像の前記設定スキャンウインドゥの位置およびサイズであり、前記過去処理結果は前記該画像より以前に撮影された選択スキャンウィンドゥの位置およびサイズである
ことを特徴としている。
【００２２】
この構成により、オブジェクトの検出位置を正確に決定することが出来る。
【００２３】
さらに、本発明のオブジェクト検出装置は、前記スキャンウィンドゥ選択手段は、前記該画像より以前に撮影された選択スキャンウィンドゥの位置と該画像の設定スキャンウィンドゥの重なり度合いに応じて選択スキャンウィンドゥを選択することを特徴としている。
【００２４】
この構成により、過去に検出されたオブジェクトの検出結果を利用して、現在のオブジェクトの検出結果から有効なものを選択することが出来る。
【００２５】
さらに、本発明のオブジェクト検出装置は、連続して撮影された各々の画像をサイズの異なる少なくとも２つ以上の画像に拡大または縮小してスケール画像を作成するスケール画像生成手段を有し、前記スキャンウィンドゥ設定手段は前記スケール画像に対して設定スキャンウィンドゥを設定することを特徴としている。
【００２６】
この構成により、スケール画像に対してスキャンウインドウを設定してオブジェクトを検出することが出来る。
【００２７】
さらに、本発明のオブジェクト検出装置は、前記過去処理結果保持部は、前記第２のオブジェクト検出部によって検出された検出結果を前記スケール画像に拡張した結果を保持することを特徴としている。
【００２８】
この構成により、過去のオブジェクト検出結果をスケール画像に反映させてオブジェクトを検出することが出来る。
【発明の効果】
【００２９】
本発明は、連続して入力された画像のシーンに依存することなく、高精度に、かつ所定の時間内にオブジェクト検出処理を行うことが可能なオブジェクト検出方法、オブジェクト検出プログラムを提供することができるものである。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１の実施の形態におけるオブジェクト検出装置のブロック図
【図２】本発明の第１の実施の形態におけるオブジェクト検出装置のスキャンウィンドゥ選択処理の概要図
【図３】本発明の第１の実施の形態におけるオブジェクト検出装置のスキャンウィンドゥ重なり具合算出方法を示す説明図
【図４】本発明の第１の実施の形態におけるオブジェクト検出装置の過去処理結果保存部における統合処理概要図
【図５】本発明の第１の実施の形態におけるオブジェクト検出装置の動作説明のためのフロー図
【図６】本発明の第２の実施の形態におけるオブジェクト検出装置のブロック図
【図７】本発明の第２の実施の形態におけるオブジェクト検出装置の過去処理結果保存部における検出対象移動モデル設定概要図
【図８】本発明の第２の実施の形態の処理の概要を示す概要図
【図９】本発明の第２の実施の形態におけるオブジェクト検出装置の動作説明のためのフロー図
【図１０】従来のオブジェクト検出装置のブロック図
【図１１】従来のオブジェクト検出装置のフローチャート
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態のオブジェクト検出装置について、図面を用いて説明する。
本発明の第１の実施の形態のオブジェクト検出装置を図１に示す。
【００３２】
図１において、本発明の実施の形態のオブジェクト検出装置は、カメラ部１０１から連続して撮影された画像の各々の画像内に設定スキャンウィンドゥを設定するスキャンウィンドゥ設定部１０２と、設定されたスキャンウィンドゥに対して第１のオブジェクト検出を実行する第１のオブジェクト検出部１０３と、第１のオブジェクト検出部１０３の検出結果を保存する前段階処理結果保存部１０４と、前記第１のオブジェクト検出の結果に基づいて前記設定スキャンウィンドゥから選択スキャンウィンドゥを選択するスキャンウィンドゥ選択部１０５と、前記選択スキャンウィンドゥの画像に対して第２のオブジェクト検出を実行する第２のオブジェクト検出部１０６と、第２のオブジェクト検出部１０６の結果を保存する過去処理結果保存部１０８と、第２のオブジェクト検出部１０６の結果を表示する検出結果表示部１０７とを有する。
【００３３】
スキャンウィンドゥ設定部１０２は、連続して撮影された画像の各々の画像内に、例えば縦横１画素毎に位置を変えた複数のスキャンウィンドゥを設定する。
【００３４】
第１のオブジェクト検出を実行する第１のオブジェクト検出部１０３は、スキャンウィンドゥ設定部１０２で設定された複数のスキャンウィンドゥそれぞれに対して、例えば特許文献１に記載されているHOG特徴量などを抽出し、その特徴量を入力として、検出対象らしさを表すスコアを出力する。
【００３５】
第１のオブジェクト検出部１０３は、事前に、検出対象サンプルと非検出対象サンプル（学習サンプルと呼ぶ）から特徴量を抽出し、その特徴量空間上の学習サンプルの分布に基づいて、SVM（Support Vector Machine）やブースティング法などの代表的な統計的学習手法を用いることで、特徴量空間上の検出対象サンプルと非検出対象サンプルの境界線を学習し、構築すればよい。
【００３６】
次に、第１のオブジェクト検出部１０３は、各々のスキャンウィンドゥ内のオブジェクトの検出対象らしさを、各々のスキャンウィンドゥから抽出した特徴量と、事前に構築した特徴量空間上の境界線との空間的な位置関係に基づき、スコアとして出力する。
【００３７】
第１のオブジェクト検出部１０３は、従来のカスケード型オブジェクト検出器では前段ステージに相当する。そして、後段ステージに相当する第２のオブジェクト検出を実行する第２のオブジェクト検出部１０６よりも、高速処理が可能なように構築する。
【００３８】
具体的には、第１のオブジェクト検出部１０３は、次のような手法を用いて構築すればよい。学習サンプルから抽出した特徴量空間上の分布に基づき、例えば、非特許文献１に記載されているVIP（Variable Importance on Projection）や、ブースティング法を用いて、オブジェクト検出に有用な特徴量を選択し、選択された特徴量のみを入力とするSVMを用いることで、高速なオブジェクト検出器を構築する手法、または、特許文献１のように、ブースティング法により選択された各特徴量に基づき、精度の異なる強識別器をカスケード上に複数ステージ連結させることで、高速なオブジェクト検出器を構築する手法などである。
【００３９】
また、第１のオブジェクト検出部１０３は、上に挙げたSVMやブースティング法による構築手法以外にも、他の代表的なオブジェクト検出技術を用いて構築してもよい。
【００４０】
第１のオブジェクト検出部１０３におけるオブジェクト検出処理は、常にスキャンウィンドゥ設定部１０２で作成された複数のスキャンウィンドゥ全てに対して行われるため、第１のオブジェクト検出部１０３におけるオブジェクト検出処理時間は、スキャンウィンドゥ設定部１０２で作成されたスキャンウィンドゥの総数と、スキャンウィンドゥひとつあたりのオブジェクト検出処理時間で決定される。
【００４１】
第１のオブジェクト検出部１０３から出力される各々の各スキャンウィンドゥのスコアは、前段処理結果保存部１０４において、表１のように各スキャンウィンドゥの位置情報と共に保存されている。
2011198006.tif 000003
【００４２】
第２のオブジェクト検出を実行する第２のオブジェクト検出部１０６は、第１のオブジェクト検出部１０３と同様に、スキャンウィンドゥ選択部１０５により選択された所定数のスキャンウィンドゥから特徴量を抽出し、その特徴量を入力として、検出対象らしさを表すスコアを出力するようなオブジェクト検出処理を実行する。
【００４３】
第２のオブジェクト検出部１０６は、特許文献１、非特許文献１のようなカスケード型オブジェクト検出器と同様に、後段ステージに相当し、前段ステージに相当する第１のオブジェクト検出部１０３よりも、高精度処理が可能なように構築する。
【００４４】
具体的には、例えば特許文献１、非特許文献１に記載されているように、ブースティング法やVIPを用いて選択した一部の特徴量のみを入力として高速化を図る第１のオブジェクト検出部１０３に対し、抽出した全ての特徴量を線形SVMなどのオブジェクト検出器への入力とし、オブジェクト検出処理に用いる特徴量数を増加させることで、オブジェクト検出精度を高精度化させる手法を用いて構築すればよい。
【００４５】
また、第２のオブジェクト検出部１０６は、特徴量数を増加させることで、オブジェクト検出精度を高精度化させる手法以外にも、他の代表的なオブジェクト検出技術を用いて構築してもよい。
【００４６】
第２のオブジェクト検出部１０６は、オブジェクト検出処理結果を、スキャンウィンドゥごとのスコアと共に、そのスキャンウィンドゥの位置情報を、過去処理結果保存部１０８と、検出結果表示部１０７に対して出力する。
【００４７】
スキャンウィンドゥ選択部１０５は、前段処理結果保存部１０４の保持する各々のスキャンウィンドゥのスコア（表１）に対して、以前に撮影された画像内の、所定数のスキャンウィンドゥに対する第２のオブジェクト検出部１０６の検出結果（過去処理結果保存部
１０８）を用いて重み付けを行い、新たに算出されたスコアの上位から、所定数のスキャンウィンドゥを選択し、第２のオブジェクト検出部１０６へ、その位置情報を出力する。
【００４８】
この際、過去処理結果保存部１０８では、以前に撮影された画像の中からスキャンウィンドゥ選択部１０５によって選択された、所定数のスキャンウィンドゥに対する第２のオブジェクト検出部１０６の検出結果を保存している。この結果は、第２のオブジェクト検出部１０６から入力されるスキャンウィンドゥ毎のスコアと、ユーザによって設定される閾値を比較することによって、スキャンウィンドゥ内に検出対象オブジェクトが含まれるスキャンウィンドゥ（OBJECTと表記する）と、スキャンウィンドゥ内に検出対象オブジェクトが含まれないスキャンウィンドゥ（NON_OBJECTと表記する）に分類されている。過去処理結果保存部１０８では、表２のように内部情報を保持している。
【００４９】
2011198006.tif 000004
【００５０】
例えば図２のように、前段処理結果保存部１０４の保持する各々のスキャンウィンドゥのスコアに対し、ユーザの設定する閾値を超えた一部のスキャンウィンドゥを２０１、過去処理結果保存部１０８の保持する各々のスキャンウィンドゥを２０２とすると、スキャンウィンドゥ選択処理の結果、所定数のスキャンウィンドゥが２０５のように選択され、第２のオブジェクト検出部１０６へ受け渡される。
【００５１】
具体的には、図２に示すように例えば前段処理結果保存部１０４の結果２０４と、過去処理結果保存部１０８の保持する２０３があるとき、２０４のスコアは、２０３と２０４との重なり具合によって重み付けされ、新たなスコアが算出される。このようにして、２０１における全てのスキャンウィンドゥに対して同様の重み付け計算を繰り返し実行し、新たに算出されたスコアの中で、２０４が上位から所定数以内に位置づけられたとき、２０４は２０５のように選択され、第２のオブジェクト検出部１０６へ受け渡される。
【００５２】
スキャンウィンドゥ選択部１０５における、前段処理結果保存部のスキャンウィンドゥへの重み付け方法として、まず最初に図３の３０１と３０２のように、スキャンウィンドゥの重なり度合いが算出される。このスキャンウィンドゥの重なり度合いは、例えば下記のようなIOU（Intersection Over Union）などを用いればよい。
重なり度合いをIOU_SCORE、area（A）をAの面積とすると、
IOU_SCORE = area（３０１∩３０２） / area（３０１∪３０２）
のように重なり度合いを定義してもよい。
【００５３】
また、前段処理結果保存部１０４のスキャンウィンドゥ２０１は、以前に撮影された画
像内の所定数のスキャンウィンドゥ２０２とIOUを算出する際、各スキャンウィンドゥの重心間距離が最小となる組み合わせのスキャンウィンドゥ同士について、IOUを算出する。
【００５４】
次に、スキャンウィンドゥ選択部１０５における、前段処理結果保存部１０４のスキャンウィンドゥへの重み付け方法は、図３の３０１と３０２のように、スキャンウィンドゥの重なり度合いに応じて、例えば下記のように算出すればよい。
【００５５】
前段処理結果保存部１０４の各々のスキャンウィンドゥのスコアをSCORE、重み付けされたスキャンウィンドゥのスコアをFINAL_SCORE、IOUのスコアをIOU_SCORE、過去処理結果保存部１０８の保持するスコアをPRE_SCOREとすると、FINAL_SCOREは
FINAL_SCORE  =  a*SCORE  +  b*IOU_SCORE*PRE_SCORE
のように算出することができ、スキャンウィンドゥ選択部１０５は、FINAL_SCOREの値を基に、上位から所定数のスキャンウィンドゥを選択し、第２のオブジェクト検出部１０６へその位置情報を出力する。
なお、a、bは、ユーザによって設定される任意のパラメータである。
【００５６】
過去処理結果保存部１０８は、図４に示すように、所定の閾値以下の距離間にある少なくとも２つ以上のスキャンウィンドゥを、保存情報量削減のために１つの矩形に統合してもよい。このような矩形の統合には、例えば２つの矩形の重心間の中点に、２つの矩形の縦、横の長さの平均値をそれぞれ縦、横の長さとするような矩形を統合処理結果とし、新たな位置情報として保存してもよい。なお、統合される２つ以上のスキャンウィンドゥは、OBJECT同士、あるいはNON_OBJECT同士で実行する。また、統合されたスキャンウィンドゥのスコアは、統合に用いたスキャンウィンドゥのスコアの平均値を採用してもよい。
【００５７】
スキャンウィンドゥ選択部１０５においてIOU_SCOREを算出する際には、OBJECT、NON_OBJECT情報を利用する。
具体的に段落（００５２）の式は、
IOU_SCORE_OBJECT：前段処理結果保存部１０４のスキャンウィンドゥと、過去処理結果保存部１０８のスキャンスキャンウィンドゥのうちオブジェクトが含まれていたスキャンスキャンウィンドゥとのIOU
IOU_SCORE_NON_OBJECT：前段処理結果保存部１０４のスキャンウィンドゥと、過去処理結果保存部１０８のスキャンスキャンウィンドゥのうちオブジェクトが含まれていないスキャンスキャンウィンドゥとのIOU
としたとき、
IOU_SCORE  =  c*IOU_SCORE_OBJECT  + d*IOU_SCORE_NON_OBJECT
のように展開してもよい。
ここで、c、dはユーザによって設定される任意のパラメータである。
【００５８】
前記より、スキャンウィンドゥ選択部１０５においては、検出対象オブジェクトが存在する確率の高いスキャンウィンドゥが、常に所定数個、新たに算出したスコアに基づき、優先的にスコア上位から選択される。このため、第２のオブジェクト検出部１０６は、入力された画像に依存することなく、常に所定の時間内にオブジェクト検出処理を終了することができ、従来のように、スキャンウィンドゥの走査の順に依存して、検出漏れが発生
したりはしない。
【００５９】
以上のように構成されたオブジェクト検出装置について、図５のフローチャートを用いてさらに説明する。
Ｓ５０１では、スキャンウィンドゥ設定部１０２が、スキャンウィンドゥの設定処理を行う。連続して撮影された画像の各々の画像内に、複数のスキャンウィンドゥを設定する。
Ｓ５０２では、第１のオブジェクト検出部１０３が、第１のオブジェクト検出処理を行う。Ｓ５０１で設定された複数のスキャンウィンドゥに対して、例えば特許文献１に記載されているHOG特徴量などを抽出し、その特徴量を入力として、検出対象らしさを表すスコアを出力する。
【００６０】
Ｓ５０３では、スキャンウィンドゥ選択１０５が、スキャンウィンドゥ選択処理を行う。Ｓ５０２で出力されるスコアと、Ｓ５０５における過去処理結果保存処理によって保持されている情報に基づき、所定数のスキャンウィンドゥを選択する。
Ｓ５０４では、第２のオブジェクト検出部１０６が第２のオブジェクト検出処理を行う。Ｓ５０３で選択された所定数のスキャンウィンドゥに対して、Ｓ５０２と同様に特徴量を抽出し、その特徴量を入力として、検出対象らしさを表すスコアを出力する。ユーザがあらかじめ定めたスコアに対する閾値に基づき、スキャンウィンドゥ内に検出対象が含まれるか否か判定する。
Ｓ５０５では、過去処理結果保存部１０８が過去処理結果保存処理を行う。Ｓ５０４における第２のオブジェクト検出処理結果を、各々のスキャンウィンドゥに対し、位置、スコア情報と共に保持している。
【００６１】
このような本発明の第１の実施の形態のオブジェクト検出装置によれば、過去に撮影されたスキャンウィンドゥに対する第２のオブジェクト検出処理結果と、現時刻に撮影されたスキャンウィンドゥに対する第１のオブジェクト検出処理結果に基づき、高精度処理すべきスキャンウィンドゥを所定数選択スキャンウィンドゥ選択部を設けることにより、連続して入力された画像のシーンに依存することなく、高精度に、かつ所定の時間内にオブジェクト検出処理を行うことができる。
【００６２】
次に、本発明の第２の実施の形態のオブジェクト検出装置を図６に示す。
図６において、本発明の実施の形態のオブジェクト検出装置は、連続して撮影された画像から、ピラミッド画像を生成するスケール画像生成部６０１と、ピラミッド画像の各々の階層画像内に設定スキャンウィンドゥを設定するスキャンウィンドゥ設定部１０２と、設定されたスキャンウィンドゥに対して第１のオブジェクト検出を実行する第１のオブジェクト検出部１０３と、第１のオブジェクト検出部１０３の検出結果を保存する前段階処理結果保存部１０４と、前記第１のオブジェクト検出の結果に基づいて前記設定スキャンウィンドゥから選択スキャンウィンドゥを選択するスキャンウィンドゥ選択部１０５と、前記選択スキャンウィンドゥの画像に対して第２のオブジェクト検出を実行する第２のオブジェクト検出部１０６と、第２のオブジェクト検出部１０６の結果を保存する過去処理結果保存部１０８と、第２のオブジェクト検出部の結果を表示する検出結果表示部１０７とを有する。
【００６３】
なお、以下の説明では、それぞれのブロックから出力されるスキャンウインドゥに対して、スキャンウインドゥ設定部１０２の出力を設定スキャンウインドゥ、第１のオブジェクト検出部１０３の出力を前段処理結果スキャンウインドゥ、スキャンウインドゥ選択部１０５の出力を選択スキャンウインドゥ、第２のオブジェクト検出部１０６の出力を後段処理結果スキャンウインドゥ、過去処理結果保存部１０８からの出力を拡張スキャンウインドゥと呼ぶ。
【００６４】
スケール画像生成部６０１は、連続して撮影された画像を所定のスケールで順次リサイズさせながら、ピラミッド画像を生成する。
【００６５】
スキャンウィンドゥ設定部１０２は、スケール画像生成部６０１によって生成されたピラミッド画像の各々の階層の画像に対して、複数のスキャンウィンドゥを設定し設定スキャンウインドゥを出力する。
【００６６】
過去処理結果保存部１０８は、図７に示すように、以前に撮影されたピラミッド画像の中から、スキャンウィンドゥ選択部１０２によって選択された所定数の選択スキャンウィンドゥに対する第２のオブジェクト検出手段１０６の検出結果である後段処理結果スキャンウインドゥ７０６を、事前に構築した検出対象オブジェクトの移動モデルに基づき、現時刻に撮影されたピラミッド画像に対して、ピラミッド画像の階層間を跨るようにスキャンウィンドゥの位置情報を拡張して拡張スキャンウインドゥとして保持している。
【００６７】
過去処理結果保存部１０８における検出対象オブジェクトの移動モデルは、撮影される画像シーンにおける検出対象の移動速度に応じて、ユーザが設定することができる。具体的に移動モデルとは、例えば第２のオブジェクト検出部手段１０６の検出結果をピラミッド画像の階層７０１とした場合、ピラミッド画像のどの階層間までスキャンウィンドゥ枠７０５を拡張するかという点と（図７の例では、７０２、７０３のような上下１つの階層間まで拡張している）と、ピラミッド画像のある階層上において、どの程度上下左右にスキャンウィンドゥ枠を拡張するかという点（図７の例では、７０４のスキャンウィンドゥを７０５まで拡張している）の、２点を意味する。
【００６８】
ユーザによる移動モデル設定において、スキャンウィンドゥ枠７０５を７０２、７０３の階層へ拡張する際、７０２、７０３におけるスキャンウィンドゥ枠は、スキャンウィンドゥ枠７０５の大きさ（縦、横）に、ピラミッド画像のスケール変化を考慮したものとする。
具体的には、７０５のスキャンウィンドゥ枠の縦、横の長さをそれぞれHEIGHT_705、WIDTH_705、７０２のスキャンウィンドゥ枠の縦、横の長さをそれぞれHEIGHT_702、WIDTH702、ピラミッド画像の拡大・縮小のスケールパラメータをscaleとするとき、
HEIGHT_702 = scale * HEIGHT_705
WIDTH_702 = scale * WIDTH_702
と計算してもよい。
【００６９】
過去処理結果保存部１０８における検出対象オブジェクトの移動モデルの設定は、第２のオブジェクト検出部１０６手段の検出結果であるピラミッド画像上のスキャンウィンドゥ位置に応じて、例えば近距離にいる検出対象の移動範囲は大きく、遠距離にいる検出対象の移動範囲は小さい、といったように適応的に設定してもよい。
【００７０】
スキャンウィンドゥ選択部１０５において、前段階処理結果保存部１０４の保持するピラミッド画像における各々の前段処理結果スキャンウィンドゥのスコアは、そのスキャンウィンドゥが存在するピラミッド画像の階層上において、過去処理結果保存部１０８の保持する情報を基に重み付け計算が実行される。
【００７１】
図８は、第２の実施の形態におけるオブジェクトの検出手順を説明した説明図である。図８において、８０１、８０３、８０５、８０７はそれぞれ図７に示しているピラミッド画像を平面的に並べたものである。８０１は、過去のピラミッド画像に対して第２のオブ
ジェクト検出部１０６による検出が行われた様子を示しており、８０２が検出結果である後段処理結果スキャンウインドゥである。
次に、第２のオブジェクト検出手段の結果に対して、後段処理結果スキャンウインドゥを拡張して、拡張スキャンウインドゥ８０４が過去処理結果保存部１０８に保存される。
このような状態で、現在のピラミッド画像に対して第１のオブジェクト検出部１０３により、第１のオブジェクト検出が行われると、前段処理結果スキャンウインドゥ８０６が得られる。
【００７２】
そして、スキャンウインドゥ選択部１０５によって、前段処理結果スキャンウインドゥ８０６と拡張スキャンウインドゥ８０４から選択スキャンウインドゥ８０８が得られる。
この際の選択スキャンウインドウ８０８の選び方については、実施の形態１のように、ウインドウの重なり度合いとして８０４と８０６についてIOU_SCOREを算出し、これを元にFINAL_SCOREを計算することができる。
【００７３】
第２のオブジェクト検出部１０６は、この選択スキャンウインドゥ８０８に対してオブジェクト検出処理を行う。
以上のように構成されたオブジェクト検出装置について、図９のフローチャートを用いてその動作についてさらに説明する。
【００７４】
Ｓ９０１では、スケール画像生成処理部６０１が、スケール画像生成処理を行う。連続して撮影された画像を所定のスケールで順次リサイズさせながら、ピラミッド画像を生成する。
Ｓ９０２では、スキャンウィンドゥ設定部１０２が、スキャンウィンドゥの設定処理を行う。Ｓ９８０１で生成されたピラミッド画像の各々の階層画像内に、複数の設定スキャンウィンドゥを設定する。
Ｓ９０３では、第１のオブジェクト検出部１０３が、第１のオブジェクト検出処理を行う。Ｓ９０２で設定された複数の設定スキャンウィンドゥに対して、例えば特許文献１に記載されているHOG特徴量などを抽出し、その特徴量を入力として、検出対象らしさを表すスコアを出力し、オブジェクトが存在すると判定されたものを前段処理結果スキャンウインドゥとして出力する。
【００７５】
Ｓ９０４では、スキャンウィンドゥ選択１０５が、スキャンウィンドゥ選択処理を行う。Ｓ９０３で出力されたるスコア付けされた前段処理結果スキャンウインドゥと、Ｓ９０６における過去処理結果保存処理によって保持されている拡張スキャンウインドゥ情報に基づき、所定数の選択スキャンウィンドゥを選択する。
Ｓ９０５では、第２のオブジェクト検出部１０６が、第２のオブジェクト検出処理を行う。Ｓ９０４で選択された所定数の選択スキャンウィンドゥに対して、Ｓ９８０３と同様に特徴量を抽出し、その特徴量を入力として、検出対象らしさを表すスコアを出力する。ユーザがあらかじめ定めたスコアに対する閾値に基づき、スキャンウィンドゥ内に検出対象が含まれるか否か判定する。その結果を、オブジェクトの有無を検出結果表示部１０７に出力する。また、その結果を後段処理結果スキャンウインドゥとして過去処理結果保存部１０８に出力する。
Ｓ９０６では、過去処理結果保存部１０８が、過去処理結果保存処理を行う。Ｓ９０５における第２のオブジェクト検出処理結果で得られた後段処理結果スキャンウインドゥを拡張スキャンウインドゥに拡張して、位置、スコア情報と共に保持している。
【００７６】
以上のように本発明の第２の実施の形態のオブジェクト検出装置によれば、スケール画像生成部６０１を設けることにより、過去処理結果保存部１０８において、現時刻における検出対象の移動範囲を考慮したスキャンウィンドゥ選択を行うことができ、より検出対象オブジェクトが存在する可能性の高いスキャンウィンドゥのみが第２のオブジェクト検
出部１０６に処理されることになる。
【産業上の利用可能性】
【００７７】
以上のように、本発明にかかるオブジェクト検出装置は、連続して入力された画像のシーンに依存することなく、高精度に、かつ所定の時間内にオブジェクト検出処理を行うことが可能なオブジェクト検出方法、オブジェクト検出プログラムを提供することができる、という効果を有し、本発明は、連続して撮影された画像から、対象となるオブジェクトの検出を行うためのオブジェクト検出装置、オブジェクト検出方法、およびオブジェクト検出プログラムに関するもの等として有用である。
【符号の説明】
【００７８】
１０１  カメラ部
１０２  スキャンウインドゥ設定部
１０３  第１のオブジェクト検出部
１０４  前段処理結果保存部
１０５  スキャンウインドゥ選択部
１０６  第２のオブジェクト検出部
１０７  検出結果表示部
１０８  過去処理結果保存部  
【図１】
2011198006.tif 000005
【図２】
2011198006.tif 000006
【図３】
2011198006.tif 000007
【図４】
2011198006.tif 000008
【図５】
2011198006.tif 000009
【図６】
2011198006.tif 000010
【図７】
2011198006.tif 000011
【図８】
2011198006.tif 000012
【図９】
2011198006.tif 000013
【図１０】
2011198006.tif 000014
【図１１】
2011198006.tif 000015