(57)【特許請求の範囲】
【請求項１】
動画像データから移動物体を検出する移動物体検出装置であって、
２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定するウィンドウ設定部と、
前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する空間輝度勾配方向算出部と、
前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する空間ヒストグラム算出部と、
前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する時間輝度勾配方向算出部と、
前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する時間ヒストグラム算出部と、
前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する判断部と
を備える移動物体検出装置。
【請求項２】
さらに、
前記ウィンドウに含まれる画素ごとに、オプティカルフローの方向を算出するオプティカルフロー方向算出部と、
前記ウィンドウ内の前記オプティカルフローの方向のヒストグラムであるオプティカルフローヒストグラムを算出するオプティカルフローヒストグラム算出部とを備え、
前記判断部は、前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムと、前記オプティカルフローヒストグラム算出部が算出した前記オプティカルフローヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する
請求項１記載の移動物体検出装置。
【請求項３】
前記空間ヒストグラム算出部は、互いに所定の位置関係にある複数画素の前記空間輝度勾配方向の組合せを第１の変量組とし、前記ウィンドウ内での前記第１の変量組のヒストグラムを算出し、
前記時間ヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記時間輝度勾配方向の組合せを第２の変量組とし、前記ウィンドウ内での前記第２の変量組のヒストグラムを算出し、
前記オプティカルフローヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記オプティカルフローの方向の組合せを第３の変量組とし、前記ウィンドウ内での前記第３の変量組のヒストグラムを算出し、
前記判断部は、前記第１の変量組のヒストグラムと、前記第２の変量組のヒストグラムと、前記第３の変量組のヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する
請求項２記載の移動物体検出装置。
【請求項４】
前記空間ヒストグラム算出部は、互いに所定の位置関係にある複数画素の前記空間輝度勾配方向の組合せを第１の変量組とし、前記ウィンドウ内での前記第１の変量組のヒストグラムを算出し、
前記時間ヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記時間輝度勾配方向の組合せを第２の変量組とし、前記ウィンドウ内での前記第２の変量組のヒストグラムを算出し、
前記判断部は、前記第１の変量組のヒストグラムと前記第２の変量組のヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する
請求項１記載の移動物体検出装置。
【請求項５】
前記空間輝度勾配方向算出部は、前記ウィンドウ内に含まれる画素ごとに、当該画素のｘ軸方向の輝度値の勾配をＩx、ｙ軸方向の輝度値の勾配をＩyとした場合に、空間輝度勾配方向を以下の式（１）に示すφとして算出する
φ＝ｔａｎ-1（Ｉy／Ｉx）…（１）
請求項１〜４のいずれか１項に記載の移動物体検出装置。
【請求項６】
前記時間輝度勾配方向算出部は、前記ウィンドウ内に含まれる画素ごとに、当該画素のｘ軸方向の輝度値の勾配をＩx、ｙ軸方向の輝度値の勾配をＩy、時間軸方向の輝度値の勾配をＩtとした場合に、時間輝度勾配方向を以下の式（２）に示すθとして算出する
【数１】
0005467300.tif 000003
請求項１〜５のいずれか１項に記載の移動物体検出装置。
【請求項７】
さらに、
所定の複数の縮小比率で前記動画像データをそれぞれ縮小した複数の縮小動画像データを作成する縮小動画像データ作成部と、
前記複数の縮小動画像データの各々について、当該縮小動画像データ中に、前記ウィンドウを当該縮小動画像データを作成する際に用いた縮小比率で縮小した縮小ウィンドウを設定することにより、前記複数の縮小動画像データに複数の縮小ウィンドウを設定する縮小ウィンドウ設定部とを備え、
前記空間輝度勾配方向算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、
前記空間ヒストグラム算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウ内の縮小空間ヒストグラムを算出し、
前記時間輝度勾配方向算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、
前記時間ヒストグラム算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウ内の縮小時間ヒストグラムを算出し、
前記縮小ウィンドウ設定部は、前記複数の縮小比率を前記縮小比率の小さいものから順に対象縮小比率として選択して、前記対象縮小比率の縮小動画像データ中に前記対象縮小比率の縮小ウィンドウを設定し、
前記判断部は、前記対象縮小比率の縮小空間ヒストグラムと前記縮小時間ヒストグラムとに基づいて、前記対象縮小比率の前記縮小ウィンドウ内に移動物体が含まれるか否かを判断し、
前記ウィンドウ設定部は、前記判断部が前記縮小ウィンドウ内に移動物体が含まれると判断した場合に、前記対象縮小比率の前記縮小動画像データ中の前記縮小ウィンドウの設定位置に対応する前記動画像データ中の位置から所定範囲内の位置に前記ウィンドウを順次設定し、
前記判断部は、さらに、前記判断部が前記縮小ウィンドウ内に移動物体が含まれると判断した場合に、前記ウィンドウ設定部が設定した前記ウィンドウ内に移動物体が含まれるか否かを判断する
請求項１〜６のいずれか１項に記載の移動物体検出装置。
【請求項８】
さらに、
所定の複数の縮小比率で前記動画像データをそれぞれ縮小した複数の縮小動画像データを作成する縮小動画像データ作成部を備え、
前記ウィンドウ設定部は、さらに、各前記縮小動画像データ中に、前記ウィンドウを設定し、
前記空間輝度勾配方向算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、
前記空間ヒストグラム算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウ内の縮小空間ヒストグラムを算出し、
前記時間輝度勾配方向算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、
前記時間ヒストグラム算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウ内の縮小時間ヒストグラムを算出し、
前記判断部は、（ａ）ウィンドウ内に移動物体が含まれると判断されるまで、前記複数の縮小比率の中から縮小比率が小さいものから順に対象縮小比率として選択し、前記対象縮小比率で縮小された縮小動画像データに設定された前記ウィンドウ内の前記縮小空間ヒストグラムおよび前記縮小時間ヒストグラムに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断し、（ｂ）前記複数の縮小動画像のいずれの縮小動画像中の前記ウィンドウ内にも移動物体が含まれないと判断された場合に、前記空間ヒストグラムおよび前記時間ヒストグラムに基づいて、前記動画像データに設定された前記ウィンドウ内に移動物体が含まれるか否かを判断する
請求項１〜６のいずれか１項に記載の移動物体検出装置。
【請求項９】
前記ウィンドウ設定部は、前記動画像データ中に、互いに異なる所定の体積を有する複数のウィンドウを設定し、
前記空間輝度勾配方向算出部は、前記複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、
前記空間ヒストグラム算出部は、前記複数のウィンドウの各々について、当該ウィンドウ内の空間ヒストグラムを算出し、
前記時間輝度勾配方向算出部は、前記複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、
前記時間ヒストグラム算出部は、前記複数のウィンドウの各々について、当該ウィンドウ内の時間ヒストグラムを算出し、
前記判断部は、ウィンドウ内に移動物体が含まれると判断されるまで前記複数のウィンドウのうち体積の大きいものから順次選択し、選択したウィンドウに対する前記空間ヒストグラムおよび前記時間ヒストグラムに基づいて、前記選択したウィンドウ内に移動物体が含まれるか否かを判断する
請求項１〜６のいずれか１項に記載の移動物体検出装置。
【請求項１０】
前記空間ヒストグラム算出部が算出する前記空間ヒストグラムの各ビンにおける前記空間輝度勾配方向の幅は一定であり、
前記時間ヒストグラム算出部が算出する前記時間ヒストグラムの各ビンにおける前記時間輝度勾配方向の幅は一定である
請求項１〜９のいずれか１項に記載の移動物体検出装置。
【請求項１１】
動画像データから移動物体を検出する移動物体検出方法であって、
２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定するウィンドウ設定ステップと、
前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する空間輝度勾配方向算出ステップと、
前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する空間ヒストグラム算出ステップと、
前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する時間輝度勾配方向算出ステップと、
前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する時間ヒストグラム算出ステップと、
前記空間ヒストグラム算出ステップにおいて算出された前記空間ヒストグラムと、前記時間ヒストグラム算出ステップにおいて算出された前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する判断ステップと
を含む移動物体検出方法。
【請求項１２】
動画像データから移動物体を検出するためのプログラムであって、
２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定するウィンドウ設定ステップと、
前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する空間輝度勾配方向算出ステップと、
前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する空間ヒストグラム算出ステップと、
前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する時間輝度勾配方向算出ステップと、
前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する時間ヒストグラム算出ステップと、
前記空間ヒストグラム算出ステップにおいて算出された前記空間ヒストグラムと、前記時間ヒストグラム算出ステップにおいて算出された前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する判断ステップと
をコンピュータに実行させるためのプログラム。
【請求項１３】
動画像データから移動物体を検出する集積回路であって、
２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定するウィンドウ設定部と、
前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する空間輝度勾配方向算出部と、
前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する空間ヒストグラム算出部と、
前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する時間輝度勾配方向算出部と、
前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する時間ヒストグラム算出部と、
前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する判断部と
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データの中から移動物体を検出する移動物体検出装置に関する。
【背景技術】
【０００２】
従来、動画像データの中から歩行者に代表される移動物体を検出する手法が開発されている。移動物体検出手法は、監視用途、走行車両における歩行者検出、または知能ロボットなどの技術に適用可能な重要な技術である。【０００３】
これまで多くの手法が開発されているが、特に、歩行者は多関節物体であり様々なポーズを取ることができるとともに、衣服、外光および複雑な背景などの影響により、見え方が多様であるため、歩行者を検出することは難しい問題である。【０００４】
従来、静止画像データから人物を検出する手法として、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ）特徴とＡｄａｂｏｏｓｔ識別器との組合せにより人物を検出する手法が知られている（例えば、非特許文献１参照）。【０００５】
図３２は、非特許文献１に記載の方法を説明するための図である。図３２（ａ）に示すように、入力画像１０中に、所定のサイズのウィンドウ１２を設定する。ウィンドウ１２内は複数のパッチ（パッチ１４ａおよび１４ｂ等）に分割され、パッチごとにＨＯＧ特徴が算出される。【０００６】
例えば、パッチ１４ａのＨＯＧ特徴の算出方法を図３２（ｂ）を参照しながら説明する。パッチ１４ａ内の各画素の輝度値をＩ（ｘ，ｙ）とした場合に、各画素の空間勾配∇Ｉ＝［Ｉx，Ｉy］を算出する。また、各画素の空間輝度勾配方向φ＝ｔａｎ-1（Ｉy／Ｉx）を算出する。空間勾配∇Ｉと空間輝度勾配方向φとの関係は図３２（ｃ）に示す通りである。つまり、横軸をＩx、縦軸をＩyとした場合に、空間勾配∇Ｉがなすベクトルと横軸Ｉxとがなす角が空間輝度勾配方向φになる。パッチ１４ａ内の各画素について空間輝度勾配方向φの頻度を算出することにより、図３２（ｄ）に示すようなヒストグラムが得られる。このヒストグラムがＨＯＧ特徴である。同様にパッチ１４ｂについても図３２（ｅ）に示すようなＨＯＧ特徴が得られる。ウィンドウ１２内の全てのパッチについてＨＯＧ特徴を算出し、Ａｄａｂｏｏｓｔ識別器の入力とすることにより、Ａｄａｂｏｏｓｔ識別器はウィンドウ１２内の人物の有無を判定する。このウィンドウ１２を、入力画像１０の左上隅から右下隅までラスタスキャンし、各位置で人物の有無を判定することにより、入力画像１０内に含まれる人物を検出することができる。【０００７】
なお、空間勾配∇Ｉ＝［Ｉx，Ｉy］は、一般的な１次微分オペレータ（Ｓｏｂｅｌ、Ｒｏｂｅｒｔｓ、Ｒｏｓｅｎｆｅｌｄなど）を用いて算出することができる。このため、その詳細な説明は省略する。【０００８】
このＨＯＧ特徴を拡張したＣｏＨＯＧ特徴も知られている（例えば、非特許文献２参照）。図３３は、ＣｏＨＯＧ特徴について説明するための図である。図３３（ａ）に示すように、図３２（ａ）と同様にウィンドウ１２を考えた場合、ウィンドウ１２内は複数のパッチ（パッチ１４ｂ等）に分割され、パッチごとにＣｏＨＯＧ特徴が算出される。【０００９】
例えば、パッチ１４ｂのＣｏＨＯＧ特徴の算出方法を説明する。図３３（ｂ）は、パッチ１４ｂを拡大した図である。まず、図３２（ｂ）に示したようにパッチ１４ｂ内の各画素について空間輝度勾配方向φ＝ｔａｎ-1（Ｉy／Ｉx）を算出する。次に、パッチ１４ｂ内の着目する画素をＰ0とし、画素Ｐ0の左斜め下の隣接画素、画素Ｐ0の下の隣接画素、画素Ｐ0の右斜め下の隣接画素、画素Ｐ0の右隣の隣接画素を、それぞれ、共起画素Ｐ1、Ｐ2、Ｐ3、Ｐ4とする。また、画素Ｐ0の空間輝度勾配方向をφ0とし、共起画素Ｐi（ｉ＝１〜４）の空間輝度勾配方向をφi（ｉ＝１〜４）とする。パッチ１４ｂ内の各画素を着目する画素Ｐ0とした場合に、φ0とφiとを変量組とする２次元のヒストグラムを作成する。この２次元ヒストグラムがＣｏＨＯＧ特徴量である。図３３（ｃ）は、φ0とφ1とを変量組とする２次元のヒストグラムの一例を示し、図３３（ｄ）は、φ0とφ2とを変量組とする２次元のヒストグラムの一例を示し、図３３（ｅ）は、φ0とφ3とを変量組とする２次元のヒストグラムの一例を示す。図３３に示す例では、画素Ｐ0と共起画素Ｐi（ｉ＝１〜４）との組合せが４つあるため、１つのパッチ１４ｂから４つのＣｏＨＯＧ特徴量が得られる。この４つのＣｏＨＯＧ特徴量を全てのパッチについて算出し、ＨＯＧ特徴量の場合と同様にＡｄａｂｏｏｓｔ識別器等の識別器に入力することにより、ウィンドウ１２内の人物の有無を判定することができる。なお、共起画素Ｐiは、着目する画素Ｐ0の隣接画素に限定されるものではなく、画素Ｐ0と所定の位置関係にある画素であればいずれの画素であってもよい。また、共起画素Ｐiの個数は４個に限定されるものではなく、適宜選択することができる。ＣｏＨＯＧ特徴量を用いた手法は、ＨＯＧ特徴量を用いた手法よりも精度が高いことが知られている。【００１０】
ＨＯＧ特徴量を拡張した他の特徴量としてＨＯＧＨＯＦ特徴量も知られている（例えば、非特許文献３および４参照）。ここで、ＨＯＦはオプティカルフローの方向のヒストグラムを意味する。例えば、図３２（ａ）に示したパッチ１４ａ内の各画素のオプティカルフローをｕ＝［ｕx，ｕy］とした場合、オプティカルフローの方向ψはψ＝ｔａｎ-1（ｕy／ｕx）として算出することができる。ψについてもφと同様にヒストグラムを作成し、ＨＯＦ特徴量を作成する。ＨＯＧ特徴量とＨＯＦ特徴量とを合わせたＨＯＧＨＯＦ特徴量を用いることにより人物の行動解析を行うことができる。なお、オプティカルフローの算出方法としては、勾配法やテンプレートマッチング法などの各種方法を用いることができる。このため、その詳細な説明は省略する。【００１１】
また、ＨＯＧ特徴量を拡張した他の特徴量として３ＤＨＯＧ特徴量も知られている（例えば、非特許文献５参照）。３ＤＨＯＧ特徴量では、静止画像データを時間軸方向に並べた３次元の動画像データ中において、所定の体積を有するウィンドウを設定する。そのウィンドウ内の各画素について空間的な形状と時間的な動きの特徴とを１つのベクトルで表す。そのベクトルとウィンドウ内に仮想的に設定された多面体の各面の法線ベクトルとを比較し、最も近い法線ベクトルを有する面に投票することにより、多面体の各面をビン（階級）とするヒストグラムを作成する。このヒストグラムが３ＤＨＯＧ特徴量となる。この３ＤＨＯＧ特徴量を用いることにより人物の行動解析を行うことができる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】N.Dalal and B.Triggs, “Histograms of Oriented Gradients for Human Detection”, CVPR, pp.886-893, 2005
【非特許文献２】T. Watanabe, S. Ito and K. Yokoi, “Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection”, PSIVT, 2009
【非特許文献３】Ivan Laptev, M.Marszalek, C.Schmid, B.Rozenfeld, “Learning realistic human actions from movies”, CVPR, 2008
【非特許文献４】I.Laptev, P.Perez, “Retrieving actions in movie”, ICCV, 2007
【非特許文献５】A.Klaser, M.Marszalek, C.Schmid, “A Spatio-Temporal Descriptor Based on 3D-Gradient”, BMVC, pp.995-1004, 2008
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、ＨＯＧ特徴量およびＣｏＨＯＧ特徴量を用いた手法は、いずれも人物の形状に関する空間的特徴を利用している。このため、人物を側面から観察した場合、特に、手足部分でシルエット形状が変化するために歩行者のように各関節での動きが大きい場合には、適さない手法である。また、これらの手法は、背景の変化やテキスチャにも影響されやすい。【００１４】
また、ＨＯＧＨＯＦ特徴量を用いた手法は、照明変動や視点変化に影響されやすく、学習データに含まれる歩行者の歩行方向に検出結果が依存されやすいという課題がある。例えば、ＨＯＧＨＯＦ特徴量では、学習時と若干異なる方向に歩いている歩行者に対する検出漏れが多いという課題がある。【００１５】
さらに、３ＤＨＯＧ特徴量は、空間的形状と時間的な動きの特徴の組み合わせ、即ち、共起を考慮した特徴量である。しかし、実際の歩行者の空間的形状と時間的な動きの組み合わせは極めて多様であり、限られた学習セットではそのような歩行者の多様性を十分に表現することは困難であり、結果として歩行者の検出漏れが発生することがある。【００１６】
また、一般的な背景差分法を用いた場合も、背景の変化に影響されやすい手法であるため、安定して動画像データから移動物体を検出することができない。【００１７】
本発明は、上述の課題を解決するためになされたものであり、複雑な背景や照明変動などの影響を受けず、安定して動画像データから移動物体を検出することができる移動物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明のある局面に係る移動物体検出装置は、動画像データから移動物体を検出する移動物体検出装置であって、２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定するウィンドウ設定部と、前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する空間輝度勾配方向算出部と、前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する空間ヒストグラム算出部と、前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する時間輝度勾配方向算出部と、前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する時間ヒストグラム算出部と、前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する判断部とを備える。【００１９】
この構成によると、空間的な輝度の勾配方向の分布を示す空間ヒストグラムと時間的な輝度の勾配方向の分布を示す時間ヒストグラムとを、別個に算出し、空間ヒストグラムと時間ヒストグラムとに基づいて移動物体の有無を判断している。移動物体が歩行者の場合には、歩行者は一般的に縦のエッジ成分が多いため、空間ヒストグラムにより歩行者と背景とを区別して検出することができる。また、時間ヒストグラムを合わせて加味することにより、移動している歩行者と移動しない背景とをさらに精度良く検出することができる。なお、この構成によると、３ＤＨＯＧ特徴量のように空間的な特徴と時間的な特徴とを合わせて表現するのではなく、空間的な特徴と時間的な特徴とを別個に表現している。このため、背景及び歩行者の多様性や照明変動などの影響を空間的な特徴と時間的な特徴のそれぞれで吸収することから、限られた学習セットであっても、安定して移動物体を検出することができる。【００２０】
好ましくは、上述の移動物体検出装置は、さらに、前記ウィンドウに含まれる画素ごとに、オプティカルフローの方向を算出するオプティカルフロー方向算出部と、前記ウィンドウ内の前記オプティカルフローの方向のヒストグラムであるオプティカルフローヒストグラムを算出するオプティカルフローヒストグラム算出部とを備え、前記判断部は、前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムと、前記オプティカルフローヒストグラム算出部が算出した前記オプティカルフローヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する。【００２１】
この構成によると、移動物体の動きの方向の特徴を示すオプティカルフローヒストグラムを加味して移動物体の検出を行っている。このため、さらに安定して移動物体を検出することができる。【００２２】
さらに好ましくは、前記空間ヒストグラム算出部は、互いに所定の位置関係にある複数画素の前記空間輝度勾配方向の組合せを第１の変量組とし、前記ウィンドウ内での前記第１の変量組のヒストグラムを算出し、前記時間ヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記時間輝度勾配方向の組合せを第２の変量組とし、前記ウィンドウ内での前記第２の変量組のヒストグラムを算出し、前記オプティカルフローヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記オプティカルフローの方向の組合せを第３の変量組とし、前記ウィンドウ内での前記第３の変量組のヒストグラムを算出し、前記判断部は、前記第１の変量組のヒストグラムと、前記第２の変量組のヒストグラムと、前記第３の変量組のヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する。【００２３】
この構成によると、ウィンドウ内での空間輝度勾配方向の共起性を示す第１の変量組のヒストグラム、時間輝度勾配方向の共起性を示す第２の変量組のヒストグラムおよびオプティカルフローの方向の共起性を示す第３の変量組のヒストグラムをそれぞれ作成し、これら３種類のヒストグラムに基づいて移動物体を検出している。このように同一の特徴量の時空間内での共起性を示すヒストグラムを用いることにより、安定して移動物体を検出することができる。【００２４】
また、前記空間ヒストグラム算出部は、互いに所定の位置関係にある複数画素の前記空間輝度勾配方向の組合せを第１の変量組とし、前記ウィンドウ内での前記第１の変量組のヒストグラムを算出し、前記時間ヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記時間輝度勾配方向の組合せを第２の変量組とし、前記ウィンドウ内での前記第２の変量組のヒストグラムを算出し、前記判断部は、前記第１の変量組のヒストグラムと前記第２の変量組のヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断してもよい。【００２５】
この構成によると、ウィンドウ内での空間輝度勾配方向の共起性を示す第１の変量組のヒストグラムおよび時間輝度勾配方向の共起性を示す第２の変量組のヒストグラムをそれぞれ作成し、これら２種類のヒストグラムに基づいて移動物体を検出している。このように同一の特徴量の時空間内での共起性を示すヒストグラムを用いることにより、安定して移動物体を検出することができる。【００２６】
また、上述の移動物体検出装置は、さらに、所定の複数の縮小比率で前記動画像データをそれぞれ縮小した複数の縮小動画像データを作成する縮小動画像データ作成部と、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に、前記ウィンドウを当該縮小動画像データを作成する際に用いた縮小比率で縮小した縮小ウィンドウを設定することにより、前記複数の縮小動画像データに複数の縮小ウィンドウを設定する縮小ウィンドウ設定部とを備え、前記空間輝度勾配方向算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、前記空間ヒストグラム算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウ内の縮小空間ヒストグラムを算出し、前記時間輝度勾配方向算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、前記時間ヒストグラム算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウ内の縮小時間ヒストグラムを算出し、前記縮小ウィンドウ設定部は、前記複数の縮小比率を前記縮小比率の小さいものから順に対象縮小比率として選択して、前記対象縮小比率の縮小動画像データ中に前記対象縮小比率の縮小ウィンドウを設定し、前記判断部は、前記対象縮小比率の縮小空間ヒストグラムと前記縮小時間ヒストグラムとに基づいて、前記対象縮小比率の前記縮小ウィンドウ内に移動物体が含まれるか否かを判断し、前記ウィンドウ設定部は、前記判断部が前記縮小ウィンドウ内に移動物体が含まれると判断した場合に、前記対象縮小比率の前記縮小動画像データ中の前記縮小ウィンドウの設定位置に対応する前記動画像データ中の位置から所定範囲内の位置に前記ウィンドウを順次設定し、前記判断部は、さらに、前記判断部が前記縮小ウィンドウ内に移動物体が含まれると判断した場合に、前記ウィンドウ設定部が設定した前記ウィンドウ内に移動物体が含まれるか否かを判断しても良い。【００２７】
この構成によると、縮小動画像データ上で移動物体を検出し、さらに、通常のサイズの動画像データ上で移動物体を検出することができる。つまり、縮小動画像データ上で粗く移動物体の位置を検出し、通常のサイズの動画像データ上で詳細な移動物体の位置を検出することができる。縮小動画像データは通常のサイズの動画像データに比べてデータ量が少ない。このため、この手法によると詳細な移動物体の位置を高速に検出することができる。【００２８】
また、上述の移動物体検出装置は、さらに、所定の複数の縮小比率で前記動画像データをそれぞれ縮小した複数の縮小動画像データを作成する縮小動画像データ作成部を備え、前記ウィンドウ設定部は、さらに、各前記縮小動画像データ中に、前記ウィンドウを設定し、前記空間輝度勾配方向算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、前記空間ヒストグラム算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウ内の縮小空間ヒストグラムを算出し、前記時間輝度勾配方向算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、前記時間ヒストグラム算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウ内の縮小時間ヒストグラムを算出し、前記判断部は、（ａ）ウィンドウ内に移動物体が含まれると判断されるまで、前記複数の縮小比率の中から縮小比率が小さいものから順に対象縮小比率として選択し、前記対象縮小比率で縮小された縮小動画像データに設定された前記ウィンドウ内の前記縮小空間ヒストグラムおよび前記縮小時間ヒストグラムに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断し、（ｂ）前記複数の縮小動画像のいずれの縮小動画像中の前記ウィンドウ内にも移動物体が含まれないと判断された場合に、前記空間ヒストグラムおよび前記時間ヒストグラムに基づいて、前記動画像データに設定された前記ウィンドウ内に移動物体が含まれるか否かを判断している。【００２９】
この構成によると、同じサイズのウィンドウと、様々なサイズの動画像データおよび縮小動画像データとを用いて移動物体を検出している。このため、様々な大きさの移動物体を検出することができる。【００３０】
また、前記ウィンドウ設定部は、前記動画像データ中に、互いに異なる所定の体積を有する複数のウィンドウを設定し、前記空間輝度勾配方向算出部は、前記複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、前記空間ヒストグラム算出部は、前記複数のウィンドウの各々について、当該ウィンドウ内の空間ヒストグラムを算出し、前記時間輝度勾配方向算出部は、前記複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、前記時間ヒストグラム算出部は、前記複数のウィンドウの各々について、当該ウィンドウ内の時間ヒストグラムを算出し、前記判断部は、ウィンドウ内に移動物体が含まれると判断されるまで前記複数のウィンドウのうち体積の大きいものから順次選択し、選択したウィンドウに対する前記空間ヒストグラムおよび前記時間ヒストグラムに基づいて、前記選択したウィンドウ内に移動物体が含まれるか否かを判断してもよい。【００３１】
この構成によると、体積の異なるウィンドウを設定し、ウィンドウごとに移動物体が含まれるか否かを判断している。このため、様々なサイズの移動物体を検出することができる。【００３２】
なお、本発明は、このような特徴的な処理部を備える移動物体検出装置として実現することができるだけでなく、移動物体検出装置に含まれる特徴的な処理部が実行する処理をステップとする移動物体検出方法として実現することができる。また、移動物体検出方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読み取り可能な不揮発性の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００３３】
本発明によると、複雑な背景や照明変動などの影響を受けず、安定して動画像データから移動物体を検出することができる。
【図面の簡単な説明】
【００３４】
【図１】図１は、実施の形態１に係る移動物体検出装置の機能的な構成を示すブロック図である。
【図２】図２は、動画像データの一例を示す図である。
【図３】図３は、実施の形態１に係る移動物体検出装置が実行する処理のフローチャートである。
【図４】図４は、実施の形態１に係る移動物体検出装置が算出する特徴量を説明するための図である。
【図５】図５は、時間ヒストグラムの性質を示す図である。
【図６】図６は、実施の形態１の変形例１に係る移動物体検出装置が作成する画像ピラミッドの一例を示す図である。
【図７】図７は、実施の形態１の変形例１に係る移動物体検出装置の機能的な構成を示すブロック図である。
【図８】図８は、実施の形態１の変形例１に係る移動物体検出装置が実行する処理のフローチャートである。
【図９】図９は、実施の形態１の変形例２に係る移動物体検出装置が作成する画像ピラミッドの一例を示す図である。
【図１０】図１０は、実施の形態１の変形例２に係る移動物体検出装置の機能的な構成を示すブロック図である。
【図１１】図１１は、実施の形態１の変形例２に係る移動物体検出装置が実行する処理のフローチャートである。
【図１２Ａ】図１２Ａは、実施の形態１の変形例３に係る移動物体検出装置が実行する移動物体検出処理を説明するための図である。
【図１２Ｂ】図１２Ｂは、実施の形態１の変形例３に係る移動物体検出装置が実行する移動物体検出処理を説明するための図である。
【図１２Ｃ】図１２Ｃは、実施の形態１の変形例３に係る移動物体検出装置が実行する移動物体検出処理を説明するための図である。
【図１３】図１３は、実施の形態１の変形例３に係る移動物体検出装置が実行する処理のフローチャートである。
【図１４】図１４は、実施の形態２に係る移動物体検出装置の機能的な構成を示すブロック図である。
【図１５】図１５は、実施の形態２に係る移動物体検出装置が実行する処理のフローチャートである。
【図１６】図１６は、実施の形態２に係る移動物体検出装置が算出する特徴量を説明するための図である。
【図１７】図１７は、実施の形態２に係る移動物体検出装置が算出する特徴量を説明するための図である。
【図１８】図１８は、実施の形態３に係る移動物体検出装置が算出する特徴量を説明するための図である。
【図１９】図１９は、雨の日に撮影された動画像データに対し、各種特徴量を用いた検出手法のＲＰＣ（Recall-precision curve）を示したグラフである。
【図２０】図２０は、雨の日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。
【図２１】図２１は、雨の日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。
【図２２】図２２は、雨の日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。
【図２３】図２３は、雨の日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。
【図２４】図２４は、晴れの日に撮影された動画像データに対して、各種特徴量を用いた検出手法のＲＰＣを示したグラフである。
【図２５】図２５は、晴れの日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。
【図２６】図２６は、晴れの日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。
【図２７】図２７は、晴れの日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。
【図２８】図２８は、晴れの日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。
【図２９】図２９は、実施の形態１に示す特徴量であるＳＴＨＯＧ特徴量を用いて歩行者検出を行った結果を示す図である。
【図３０】図３０は、実施の形態１に示す特徴量であるＳＴＨＯＧ特徴量を用いて歩行者検出を行った結果を示す図である。
【図３１】図３１は、実施の形態１に示す特徴量であるＳＴＨＯＧ特徴量を用いて一輪車に乗った人物を検出した結果を示す図である。
【図３２】図３２は、非特許文献１に記載の方法を説明するための図である。
【図３３】図３３は、ＣｏＨＯＧ特徴について説明するための図である。
【発明を実施するための形態】
【００３５】
以下、図面を参照しながら、本発明の実施の形態に係る移動物体検出装置について説明する。
【００３６】
（実施の形態１）
図１は、実施の形態１に係る移動物体検出装置の機能的な構成を示すブロック図である。
【００３７】
移動物体検出装置１００は、動画像データから移動物体を検出する装置であって、ウィンドウ設定部１０２と、空間輝度勾配方向算出部１０４と、空間ヒストグラム算出部１０６と、時間輝度勾配方向算出部１０８と、時間ヒストグラム算出部１１０と、判断部１１２とを備えている。
【００３８】
ウィンドウ設定部１０２は、２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定する。
【００３９】
空間輝度勾配方向算出部１０４は、前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する。
【００４０】
空間ヒストグラム算出部１０６は、前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する。
【００４１】
時間輝度勾配方向算出部１０８は、前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する。
【００４２】
時間ヒストグラム算出部１１０は、前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する。
【００４３】
判断部１１２は、前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する。
【００４４】
図２は、動画像データの一例を示す図である。ｘｙ平面上の２次元画像データ４０を時間軸ｔ方向にｎ枚（ｎは２以上の整数）並べた３次元画像データが動画像データとなる。この動画像データが移動物体検出装置１００に入力される。
【００４５】
図３は、移動物体検出装置１００が実行する処理のフローチャートである。
【００４６】
図４（ａ）を参照して、ウィンドウ設定部１０２は、動画像データ５０中にウィンドウ５２を設定する（Ｓ２）。ウィンドウ５２はｘ軸方向、ｙ軸方向およびｔ軸方向に所定幅を有する。つまり、ウィンドウ５２は平面ではなく一定の体積を有する直方体である。ウィンドウ５２の初期位置は、例えば、ウィンドウ５２の左上隅座標が原点（ｘ，ｙ，ｔ）＝（０，０，０）となる位置とする。なお、ウィンドウ５２は、複数のパッチ（例えば、パッチ５４ａおよび５４ｂ等）に分割されているものとする。ただし、ウィンドウ５２がパッチに分割されていなくても良く、その場合にはウィンドウの大きさとパッチの大きさとが等しくなる。パッチは、ウィンドウ５２と同様に、平面ではなく直方体である。
【００４７】
空間輝度勾配方向算出部１０４は、ウィンドウ５２に含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する（Ｓ４）。図４（ｂ）を参照して、ウィンドウ５２内の各画素の輝度値をＩ（ｘ，ｙ，ｔ）とした場合に、空間輝度勾配方向算出部１０４は、各画素の時空間勾配∇Ｉ＝［Ｉx，Ｉy，Ｉt］を算出する。また、各画素の空間輝度勾配方向φを次式（１）により算出する。なお、Ｉxは、ｘ軸方向の輝度値の勾配を示し、Ｉyは、ｙ軸方向の輝度値の勾配を示す。また、Ｉtは、ｔ軸（時間軸）方向の輝度値の勾配を示す。Ｉx、ＩyおよびＩtの値は、一般的な一時微分オペレータ（Ｓｏｂｅｌ、Ｒｏｂｅｒｔｓ、Ｒｏｓｅｎｆｅｌｄなど）を用いて算出することができる。このため、その詳細な説明は省略する。
【００４８】
φ＝ｔａｎ-1（Ｉy／Ｉx）  …（１）
時空間勾配∇Ｉと空間輝度勾配方向φとの関係は図４（ｃ）に示す通りである。つまり、Ｉx、ＩyおよびＩtを軸とする３次元空間中におけるベクトル∇ＩをＩxＩy平面に投影したベクトル５５とＩx軸とのなす角が空間輝度勾配方向φとなる。
【００４９】
空間ヒストグラム算出部１０６は、パッチごとに、パッチ内の空間輝度勾配方向φのヒストグラムである空間ヒストグラムを算出する（Ｓ６）。例えば、空間輝度勾配方向φを所定の幅で量子化し（例えば３０度の幅で量子化し）、空間輝度勾配方向φの頻度を計数することにより、図４（ｄ）に示すような空間ヒストグラムが算出される。空間ヒストグラム算出部１０６は、このような空間ヒストグラムをパッチの個数だけ算出する。例えば、量子化の幅を３０度とし、空間輝度勾配方向φが取りうる値の範囲を０度から１８０度とした場合には、空間ヒストグラムは６つ（＝１８０／３０）のビンを有することとなる。ただし、図４（ｄ）に示す空間ヒストグラムは８つのビンを有している。
【００５０】
時間輝度勾配方向算出部１０８は、ウィンドウ５２に含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する（Ｓ８）。図４（ｂ）を参照して、時間輝度勾配方向算出部１０８は、各画素の時間輝度勾配方向θを次式（２）により算出する。
【００５１】
【数１】
0005467300.tif 000002
【００５２】
時空間勾配∇Ｉと時間輝度勾配方向θとの関係は図４（ｃ）に示す通りである。つまり、上述のベクトル５５とベクトル∇Ｉとのなす角が時間輝度勾配方向θとなる。
【００５３】
時間ヒストグラム算出部１１０は、パッチごとに、パッチ内の時間輝度勾配方向θのヒストグラムである時間ヒストグラムを算出する（Ｓ１０）。例えば、時間輝度勾配方向θを所定の幅で量子化し（例えば３０度の幅で量子化し）、時間輝度勾配方向θの各ビンの頻度を計数することにより、図４（ｅ）に示すような時間ヒストグラムが算出される。時間ヒストグラム算出部１１０は、このような時間ヒストグラムをパッチの個数だけ算出する。
【００５４】
図５は、時間ヒストグラムの性質を示す図である。図５（ａ）に示すようにパッチ内に歩行者が含まれている場合には、手や足の振りの影響によりパッチ内に様々な方向の時間輝度勾配方向θが含まれる。このため、図５（ｂ）に示すように時間ヒストグラムでは、頻度が様々なビンに分散する。これに対し、図５（ｃ）に示すようにパッチ内に背景しか含まれていない場合には、背景における時間軸方向の輝度変化が乏しいため、時間輝度勾配方向θは０度に集中する。また、背景に木の葉が揺れる樹木などが含まれていたとしても、葉の揺れの空間的な形状特徴や時間的な動き特徴は、歩行者のそれとはとは異なるため、歩行者としての誤検出を防ぐことができる。例えば、背景部分からは図５（ｄ）に示されるようなヒストグラムが得られる。
【００５５】
判断部１１２は、空間ヒストグラム算出部１０６で算出されたパッチの個数分の空間ヒストグラムと時間ヒストグラム算出部１１０で算出されたパッチの個数分の時間ヒストグラムとを入力特徴量として受け、入力特徴量に基づいて、ウィンドウ５２内に移動物体が含まれるか否かを判断する（Ｓ１２）。移動物体の検出方法（判断方法）については、例えば、Ａｄａｂｏｏｓｔ、ＳＶＭ（Support Vector Machine）、ニューラルネットワークなどの一般的な手法を用いることができる。このため、その詳細な説明はここでは繰り返さない。なお、判断部１１２の学習には、歩行者の動画像データである正事例と、背景の動画像データである負事例が用いられる。
【００５６】
ウィンドウ設定部１０２は、動画像データ５０内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４）。全ての位置にウィンドウ５２を設定済みであれば（Ｓ１４でＹＥＳ）、移動物体検出装置１００は処理を終了する。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４でＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２）、移動物体検出装置１００は、設定したウィンドウ５２に対してＳ４以降の処理を実行する。
【００５７】
なお、ウィンドウの走査の仕方であるが、例えば、上述したようにウィンドウ５２の左上隅座標が原点となる位置を初期位置とし、ｔ＝０の平面上で、ウィンドウ５２を左上隅から右下隅までラスタスキャンする、次に、ｔを１つインクリメントし、同様のラスタスキャンを行う。このような処理を順次繰り返すことにより、ウィンドウ設定部１０２は、動画像データ５０内の全ての位置にウィンドウ５２を設定する。
【００５８】
以上説明したように、実施の形態１に係る移動物体検出装置によると、空間的な輝度の勾配方向の分布を示す空間ヒストグラムと時間的な輝度の勾配方向の分布を示す時間ヒストグラムとを、別個に算出し、空間ヒストグラムと時間ヒストグラムとに基づいて移動物体の有無を判断している。移動物体が歩行者の場合には、歩行者は一般的に縦のエッジ成分が多いため、空間ヒストグラムにより歩行者と背景とを区別して検出することができる。また、時間ヒストグラムを合わせて加味することにより、移動している歩行者と移動しない背景とをさらに精度良く検出することができる。なお、この構成によると、３ＤＨＯＧ特徴量のように空間的な特徴と時間的な特徴とを合わせて表現するのではなく、空間的な特徴と時間的な特徴とを別個に表現している。このため、歩行者及び背景の多様性や証明変動等の影響をそれぞれの特徴で吸収することで、安定して移動物体を検出することができる。
【００５９】
（実施の形態１の変形例１）
上述の実施の形態１では、１つの動画像データから移動物体を検出していたが、動画像データを解像度別に階層化した画像ピラミッドを作成し、低解像度の動画像データから高解像度の動画像データへと順に移動物体を検出するようにしてもよい。
【００６０】
図６は、画像ピラミッドを説明するための図である。図６（ａ）、図６（ｂ）および図６（ｃ）の順に、解像度の低い動画像データを示している。図６（ａ）および図６（ｂ）に示す縮小動画像データ５０ｂおよび５０ａは、図６（ｃ）に示す動画像データ５０を異なる倍率で縮小したものである。
【００６１】
図７は、実施の形態１の変形例１に係る移動物体検出装置の機能的な構成を示すブロック図である。
【００６２】
移動物体検出装置１００ａは、動画像データから移動物体を検出する装置であって、ウィンドウ設定部１０２と、縮小動画像データ作成部１０３と、縮小ウィンドウ設定部１０５と、空間輝度勾配方向算出部１０４と、空間ヒストグラム算出部１０６と、時間輝度勾配方向算出部１０８と、時間ヒストグラム算出部１１０と、判断部１１２とを備えている。
【００６３】
ウィンドウ設定部１０２は、実施の形態１に示したのと同様の構成を有する。
【００６４】
縮小動画像データ作成部１０３は、動画像データ５０から、所定の複数の縮小比率で動画像データ５０を縮小した縮小動画像データ（例えば、縮小動画像データ５０ｂまたは５０ａ）を作成する。つまり、縮小動画像データ作成部１０３は、所定の複数の縮小比率で動画像データ５０をそれぞれ縮小した複数の縮小動画像データ５０ａおよび５０ｂを作成する。
【００６５】
縮小ウィンドウ設定部１０５は、縮小動画像データ中に、ウィンドウ５２を前記所定の複数の縮小比率で縮小した縮小ウィンドウ（例えば、図６（ｂ）に示す縮小ウィンドウ５２ａまたは図６（ａ）に示す縮小ウィンドウ５２ｂ）を設定する。つまり、縮小ウィンドウ設定部１０５は、複数の縮小動画像データ５０ａおよび５０ｂの各々について、当該縮小動画像データ中に、ウィンドウ５２を当該縮小動画像データを作成する際に用いた縮小比率で縮小した縮小ウィンドウを設定することにより、複数の縮小動画像データ５０ａおよび５０ｂに複数の縮小ウィンドウ５２ａおよび５２ｂを設定する。なお、縮小ウィンドウ設定部１０５は、複数の縮小比率を縮小比率の小さいものから順に対象縮小比率として選択して、対象縮小比率の縮小動画像データ中に対象縮小比率の縮小ウィンドウを設定する。
【００６６】
空間輝度勾配方向算出部１０４は、実施の形態１に示した空間輝度勾配方向算出部１０４が実行する処理に加え、さらに、複数の縮小ウィンドウの各々について、縮小ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出する。
【００６７】
空間ヒストグラム算出部１０６は、実施の形態１に示した空間ヒストグラム算出部１０６が実行する処理に加え、さらに、複数の縮小ウィンドウの各々について、縮小ウィンドウ内の空間輝度勾配方向のヒストグラムである縮小空間ヒストグラムを算出する。
【００６８】
時間輝度勾配方向算出部１０８は、実施の形態１に示した時間輝度勾配方向算出部１０８が実行する処理に加え、さらに、複数の縮小ウィンドウの各々について、縮小ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出する。
【００６９】
時間ヒストグラム算出部１１０は、実施の形態１に示した時間ヒストグラム算出部１１０が実行する処理に加え、さらに、複数の縮小ウィンドウの各々について、縮小ウィンドウ内の時間輝度勾配方向のヒストグラムである縮小時間ヒストグラムを算出する。
【００７０】
判断部１１２は、対象縮小比率の縮小空間ヒストグラムと縮小時間ヒストグラムとに基づいて、対象縮小比率の縮小ウィンドウ内に移動物体が含まれるか否かを判断する。
【００７１】
ウィンドウ設定部１０２は、判断部１１２が縮小ウィンドウ内に移動物体が含まれると判断した場合に、対象縮小比率の縮小動画像データ中の縮小ウィンドウの設定位置に対応する動画像データ５０中の位置から所定範囲内の位置にウィンドウ５２を順次設定する。
【００７２】
判断部１１２は、さらに、判断部１１２が縮小ウィンドウ内に移動物体が含まれると判断した場合に、ウィンドウ５２内に移動物体が含まれるか否かを判断する。
【００７３】
図８は、移動物体検出装置１００ａが実行する処理のフローチャートである。
【００７４】
なお、このフローチャートでは、説明の簡単化のため、縮小動画像データは１つであるものとして説明するが、縮小比率の異なる縮小動画像データを複数用意し、同様の処理を実行してもよい。
【００７５】
図６を参照して、縮小動画像データ作成部１０３は、動画像データ５０を所定の縮小比率で縮小することにより縮小動画像データ５０ａを作成する（Ｓ１）。
【００７６】
次に、縮小ウィンドウ設定部１０５は、縮小動画像データ５０ａ中に動画像データ５０を所定の縮小比率で縮小した縮小ウィンドウ５２ａを設定する（Ｓ２ａ）。
【００７７】
空間輝度勾配方向算出部１０４は、縮小ウィンドウ５２ａに含まれる画素ごとに、空間輝度勾配方向φを算出する（Ｓ４ａ）。
【００７８】
空間ヒストグラム算出部１０６は、縮小ウィンドウ５２ａに含まれるパッチ（例えば、パッチ５６ａまたは５６ｂ）ごとに、パッチ内の空間輝度勾配方向φのヒストグラムである縮小空間ヒストグラムを算出する（Ｓ６ａ）。
【００７９】
時間輝度勾配方向算出部１０８は、縮小ウィンドウ５２ａに含まれる画素ごとに、時間輝度勾配方向θを算出する（Ｓ８ａ）。
【００８０】
時間ヒストグラム算出部１１０は、縮小ウィンドウ５２ａに含まれるパッチ（例えば、パッチ５６ａまたは５６ｂ）ごとに、パッチ内の時間輝度勾配方向θのヒストグラムである縮小時間ヒストグラムを算出する（Ｓ１０ａ）。
【００８１】
判断部１１２は、空間ヒストグラム算出部１０６で算出されたパッチの個数分の縮小空間ヒストグラムと時間ヒストグラム算出部１１０で算出されたパッチの個数分の縮小時間ヒストグラムとを入力特徴量として受け、入力特徴量に基づいて、縮小ウィンドウ５２ａ内に移動物体が含まれるか否かを判断する（Ｓ１２ａ）。
【００８２】
Ｓ２ａ〜Ｓ１２ａの処理は、動画像データおよびウィンドウのサイズが小さくなった以外は図３に示したＳ２〜Ｓ１２の処理と同様である。
【００８３】
縮小ウィンドウ設定部１０５は、縮小動画像データ５０ａ内の全ての位置に縮小ウィンドウ５２ａを設定したか否かを判断する（Ｓ１４ａ）。縮小ウィンドウ５２ａを未設定の位置がある場合には（Ｓ１４ａでＮＯ）、縮小ウィンドウ設定部１０５は、未設定の位置に縮小ウィンドウ５２ａを設定し（Ｓ２ｂ）、移動物体検出装置１００ａは、設定した縮小ウィンドウ５２ａに対してＳ４ａ以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
【００８４】
全ての位置に縮小ウィンドウ５２ａを設定済みであれば（Ｓ１４ａでＹＥＳ）、移動物体検出装置１００ａは、Ｓ１〜Ｓ１４ａの処理で求められた移動物体の位置の近傍を探索することにより、移動物体の詳細な位置を求める。
【００８５】
つまり、ウィンドウ設定部１０２は、判断部１１２が縮小ウィンドウ５２ａ内に移動物体が含まれると判断した場合に、縮小動画像データ５０ａ内の縮小ウィンドウ５２ａの設定位置に対応する動画像データ５０内の位置から所定範囲内の位置にウィンドウ５２を順次設定する（Ｓ２ｂ）。例えば、所定範囲は、上記動画像データ５０内の位置を中心画素とするｎ×ｎの領域としてもよい（ｎは２以上の整数）。なお、縮小ウィンドウ５２ａの設定位置に対応する動画像データ５０内の位置とは、例えば、縮小動画像データ５０ａがｘｙｚ軸方向にそれぞれ１／ｎに縮小されている場合には、縮小ウィンドウ５２ａの設定位置のｘｙｚ座標をｎ倍した位置のことである。
【００８６】
次に、移動物体検出装置１００ａは、Ｓ４〜Ｓ１２までの処理を実行することにより、ウィンドウ５２内に移動物体が含まれるか否かを判断する。Ｓ４〜Ｓ１２までの処理は、図３に示したＳ４〜Ｓ１２までの処理と同様である。
【００８７】
ウィンドウ設定部１０２は、動画像データ５０内の上記所定範囲内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４ｂ）。全ての位置にウィンドウ５２を設定済みであれば（Ｓ１４ｂでＹＥＳ）、移動物体検出装置１００ａは処理を終了する。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４ｂでＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２ｂ）、移動物体検出装置１００ａは、設定したウィンドウ５２に対してＳ４以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
【００８８】
以上説明したように、実施の形態１の変形例１に係る移動物体検出装置によると、縮小動画像データ上で移動物体を検出し、さらに、通常のサイズの動画像データ上で移動物体を検出することができる。つまり、縮小動画像データ上で粗く移動物体の位置を検出し、通常のサイズの動画像データ上で詳細な移動物体の位置を検出することができる。縮小動画像データは通常のサイズの動画像データに比べてデータ量が少ない。このため、この手法によると詳細な移動物体の位置を高速に検出することができる。階層数を多くするほど、探索範囲が小さくなるため、移動物体の位置を高速に検出可能である。
【００８９】
（実施の形態１の変形例２）
実施の形態１の変形例１では、縮小動画像データと縮小ウィンドウとを用いて移動物体の検出を行った。つまり、縮小動画像データにおける縮小倍率に合わせて縮小ウィンドウの設定を行っている。これに対し、実施の形態１の変形例２では、縮小動画像データにおける縮小倍率に係わらずサイズが一定のウィンドウを用いて移動物体の検出を行う。
【００９０】
図９は、画像ピラミッドを説明するための図である。図９（ａ）、図９（ｂ）および図９（ｃ）の順に、解像度の低い動画像データを示している。図９（ａ）および図９（ｂ）に示す縮小動画像データ５０ｂおよび５０ａは、図９（ｃ）に示す動画像データ５０を異なる倍率で縮小したものである。
【００９１】
図１０は、実施の形態１の変形例２に係る移動物体検出装置の機能的な構成を示すブロック図である。
【００９２】
移動物体検出装置１００ｂは、動画像データから移動物体を検出する装置であって、ウィンドウ設定部１０２と、縮小動画像データ作成部１０３と、空間輝度勾配方向算出部１０４と、空間ヒストグラム算出部１０６と、時間輝度勾配方向算出部１０８と、時間ヒストグラム算出部１１０と、判断部１１２とを備えている。
【００９３】
ウィンドウ設定部１０２は、実施の形態１に示したのと同様の構成を有する。
【００９４】
縮小動画像データ作成部１０３は、実施の形態１の変形例１に示したのと同様の構成を有する。つまり、縮小動画像データ作成部１０３は、所定の複数の縮小比率で動画像データ５０をそれぞれ縮小した複数の縮小動画像データ５０ａおよび５０ｂを作成する。
【００９５】
空間輝度勾配方向算出部１０４、空間ヒストグラム算出部１０６、時間輝度勾配方向算出部１０８および時間ヒストグラム算出部１１０は、実施の形態１の変形例１に示したのと同様の構成を有する。
【００９６】
判断部１１２は、（ａ）ウィンドウ内に移動物体が含まれると判断されるまで、複数の縮小比率の中から縮小比率が小さいものから順に対象縮小比率として選択し、対象縮小比率で縮小された縮小動画像データに設定されたウィンドウ内の縮小空間ヒストグラムおよび縮小時間ヒストグラムに基づいて、当該ウィンドウ内に移動物体が含まれるか否かを判断し、（ｂ）複数の縮小動画像のいずれの縮小動画像中のウィンドウ内にも移動物体が含まれないと判断された場合に、空間ヒストグラムおよび時間ヒストグラムに基づいて、動画像データ５０に設定されたウィンドウ内に移動物体が含まれるか否かを判断する。
【００９７】
例えば、図９を参照して、判断部１１２は、図９（ａ）に示す縮小動画像データ５０ｂ内でウィンドウ５２を走査しながらウィンドウ５２内に移動物体が含まれるか否かを判断する。縮小動画像データ５０ｂ内において移動物体が含まれると判断した場合には、判断部１１２は処理を終了する。縮小動画像データ５０ｂ内において移動物体が含まれないと判断した場合には、判断部１１２は、図９（ｂ）に示す縮小動画像データ５０ａ内でウィンドウ５２を走査しながらウィンドウ５２内において移動物体が含まれるか否かを判断する縮小動画像データ５０ａ内において移動物体が含まれると判断した場合には、判断部１１２は処理を終了する。縮小動画像データ５０ａ内に移動物体が含まれないと判断した場合には、判断部１１２は、図９（ｃ）に示す動画像データ５０内でウィンドウ５２を走査しながらウィンドウ５２内に移動物体が含まれるか否かを判断する。
【００９８】
図１１は、移動物体検出装置１００ｂが実行する処理のフローチャートである。
【００９９】
なお、このフローチャートでは、説明の簡単化のため、縮小動画像データは１つであるものとして説明するが、縮小比率の異なる縮小動画像データを複数用意し、同様の処理を実行してもよい。
【０１００】
図１１を参照して、縮小動画像データ作成部１０３は、動画像データ５０を所定の縮小比率で縮小することにより縮小動画像データ５０ａを作成する（Ｓ１）。
【０１０１】
次に、ウィンドウ設定部１０２は、縮小動画像データ５０ａ中にウィンドウ５２を設定する（Ｓ２ｃ）。
【０１０２】
空間輝度勾配方向算出部１０４は、ウィンドウ５２に含まれる画素ごとに、空間輝度勾配方向φを算出する（Ｓ４ｃ）。
【０１０３】
空間ヒストグラム算出部１０６は、ウィンドウ５２に含まれるパッチ（例えば、パッチ５４ａまたは５４ｂ）ごとに、パッチ内の空間輝度勾配方向φのヒストグラムである縮小空間ヒストグラムを算出する（Ｓ６ｃ）。
【０１０４】
時間輝度勾配方向算出部１０８は、ウィンドウ５２に含まれる画素ごとに、時間輝度勾配方向θを算出する（Ｓ８ｃ）。
【０１０５】
時間ヒストグラム算出部１１０は、ウィンドウ５２に含まれるパッチ（例えば、パッチ５４ａまたは５４ｂ）ごとに、パッチ内の時間輝度勾配方向θのヒストグラムである縮小時間ヒストグラムを算出する（Ｓ１０ｃ）。
【０１０６】
判断部１１２は、空間ヒストグラム算出部１０６で算出されたパッチの個数分の縮小空間ヒストグラムと時間ヒストグラム算出部１１０で算出されたパッチの個数分の縮小時間ヒストグラムとを入力特徴量として受け、入力特徴量に基づいて、ウィンドウ５２内に移動物体が含まれるか否かを判断する（Ｓ１２ｃ）。
【０１０７】
Ｓ２ｃ〜Ｓ１２ｃの処理は、動画像データのサイズが小さくなった以外は図３に示したＳ２〜Ｓ１２の処理と同様である。
【０１０８】
ウィンドウ設定部１０２は、縮小動画像データ５０ａ内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４ｃ）。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４ｃでＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２ｃ）、移動物体検出装置１００ｂは、設定したウィンドウ５２に対してＳ４ｃ以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
【０１０９】
全ての位置にウィンドウ５２を設定済みであり（Ｓ１４ｃでＹＥＳ）、かつ、縮小動画像データ５０ａ内で移動物体が検出されていれば（Ｓ２２でＹＥＳ）、移動物体検出装置１００ｂは処理を終了する。
【０１１０】
全ての位置にウィンドウ５２を設定済みであり（Ｓ１４ｃでＹＥＳ）、かつ、縮小動画像データ５０ａ内で移動物体が検出されていなければ（Ｓ２２でＮＯ）、移動物体検出装置１００ｂは、縮小動画像データ５０ａよりもサイズが大きい動画像データ５０上で同じサイズのウィンドウ５２を走査することにより、移動物体の検出を行う（Ｓ２ｄ〜Ｓ１４ｄ）。
【０１１１】
Ｓ２ｄ〜Ｓ１４ｄの処理は、ウィンドウ５２を走査する対象の画像データが異なる以外は、Ｓ２ｃ〜Ｓ１４ｃの処理と同様である。このため、その詳細な説明は繰り返さない。
【０１１２】
以上説明したように、実施の形態１の変形例２に係る移動物体検出装置によると、縮小動画像データ上で移動物体を検出し、移動物体が見つからなければ、通常のサイズの動画像データ上で移動物体を検出することができる。つまり、大きいサイズの移動物体は、分解能が粗い縮小動画像データ上で位置を検出することができるため、高速に移動物体を検出することができる。また、小さいサイズの移動物体は、通常のサイズの動画像データ上で位置を検出することができるため、精度良く移動物体を検出することができる。つまり、実施の形態１の変形例２によると、同じサイズのウィンドウと、様々なサイズの動画像データおよび縮小動画像データとを用いて移動物体を検出している。このため、様々な大きさの移動物体を検出することができる。
【０１１３】
（実施の形態１の変形例３）
実施の形態１の変形例１では、縮小動画像データと縮小ウィンドウとを用いて移動物体の検出を行った。つまり、縮小動画像データにおける縮小倍率に合わせて縮小ウィンドウの設定を行っている。これに対し、実施の形態１の変形例３では、縮小動画像データは用いずに、複数のサイズのウィンドウを用いて移動物体の検出を行う。つまり、同一の動画像データ上で様々なサイズのウィンドウを走査することにより移動物体の検出を行う。
【０１１４】
実施の形態１の変形例３に係る移動物体検出装置の機能的な構成は、図１に示した実施の形態１に係る移動物体検出装置の機能的な構成と同様である。
【０１１５】
つまり、移動物体検出装置１００は、動画像データから移動物体を検出する装置であって、ウィンドウ設定部１０２と、空間輝度勾配方向算出部１０４と、空間ヒストグラム算出部１０６と、時間輝度勾配方向算出部１０８と、時間ヒストグラム算出部１１０と、判断部１１２とを備えている。
【０１１６】
ウィンドウ設定部１０２は、動画像データ中に、互いに異なる所定の体積を有する複数のウィンドウを設定する。
【０１１７】
空間輝度勾配方向算出部１０４は、複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出する。
【０１１８】
空間ヒストグラム算出部１０６は、複数のウィンドウの各々について、当該ウィンドウ内の空間ヒストグラムを算出する。
【０１１９】
時間輝度勾配方向算出部１０８は、複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出する。
【０１２０】
時間ヒストグラム算出部１１０は、複数のウィンドウの各々について、当該ウィンドウ内の時間ヒストグラムを算出する。
【０１２１】
判断部１１２は、ウィンドウ内に移動物体が含まれると判断されるまで複数のウィンドウのうち体積の大きいものから順次選択し、選択したウィンドウに対する空間ヒストグラムおよび時間ヒストグラムに基づいて、選択したウィンドウ内に移動物体が含まれるか否かを判断する。
【０１２２】
例えば、図１２Ａに示すように、実施の形態１の変形例３に係る移動物体検出装置１００は、動画像データ５０上でウィンドウ５２を走査することにより移動物体の検出を行う。移動物体が検出された場合には、移動物体検出装置１００は処理を終了する。移動物体が検出されない場合には、移動物体検出装置１００は、図１２Ｂに示すようなウィンドウ５４よりもサイズが小さいウィンドウ５２ｃを、動画像データ５０上で走査することにより移動物体の検出を行う。移動物体が検出された場合には、移動物体検出装置１００は、処理を終了する。移動物体が検出されない場合には、移動物体検出装置１００は、図１２Ｃに示すようなウィンドウ５２ｃよりもさらに小さいサイズのウィンドウ５２ｄを、動画像データ５０上で走査することにより移動物体の検出を行う。なお、ウィンドウ５２ｃおよび５２ｄは、縮小ウィンドウ５２ａおよび５２ｂとそれぞれ同様の構成を有する。
【０１２３】
図１３は、移動物体検出装置１００が実行する処理のフローチャートである。
【０１２４】
ウィンドウ設定部１０２は、図１２Ａに示すように動画像データ中にウィンドウ５２を設定する（Ｓ２ｅ）。
【０１２５】
移動物体検出装置１００は、Ｓ４ｅ〜Ｓ１２ｅまでの処理を実行することにより、ウィンドウ５２内に移動物体が含まれるか否かを判断する。Ｓ４ｅ〜Ｓ１２ｅまでの処理は、図３に示したＳ４〜Ｓ１２までの処理と同様である。
【０１２６】
ウィンドウ設定部１０２は、動画像データ５０内の上記所定範囲内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４ｅ）。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４ｅでＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２ｅ）、移動物体検出装置１００ａは、設定したウィンドウ５２に対してＳ４ｅ以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
【０１２７】
全ての位置にウィンドウ５２を設定済みであり（Ｓ１４ｅでＹＥＳ）、かつ、動画像データ内で移動物体が検出されていれば（Ｓ２２ａでＹＥＳ）、移動物体検出装置１００は処理を終了する。
【０１２８】
全ての位置にウィンドウ５２を設定済みであり（Ｓ１４ｅでＹＥＳ）、かつ、動画像データ内で移動物体が検出されていなければ（Ｓ２２ａでＮＯ）、移動物体検出装置１００は、図１２Ｂに示すようなウィンドウ５２よりもサイズが小さいウィンドウ５２ｃを動画像データ５０上で走査することにより、移動物体の検出を行う（Ｓ２ｆ〜Ｓ１４ｆ）。
【０１２９】
Ｓ２ｆ〜Ｓ１４ｆの処理は、ウィンドウのサイズが小さくなっている以外は、Ｓ２ｅ〜Ｓ１４ｅの処理と同様である。このため、その詳細な説明は繰り返さない。
【０１３０】
以上説明したように、実施の形態１の変形例３に係る移動物体検出装置によると、様々なサイズのウィンドウを用いて移動物体の検出を行っているため、様々なサイズの移動物体を検出することができる。
【０１３１】
（実施の形態２）
次に、実施の形態２に係る移動物体検出装置について説明する。実施の形態１では、空間ヒストグラムと時間ヒストグラムとに基づいて移動物体の検出を行ったが、実施の形態２では、さらに、オプティカルフローの方向のヒストグラムであるオプティカルフローヒストグラムに基づいて移動物体の検出を行う。
【０１３２】
図１４は、実施の形態２に係る移動物体検出装置の機能的な構成を示すブロック図である。
【０１３３】
移動物体検出装置２００は、動画像データから移動物体を検出する装置であって、ウィンドウ設定部１０２と、空間輝度勾配方向算出部１０４と、空間ヒストグラム算出部１０６と、時間輝度勾配方向算出部１０８と、時間ヒストグラム算出部１１０と、オプティカルフロー方向算出部１１４と、オプティカルフローヒストグラム算出部１１６と、判断部１１８とを備えている。
【０１３４】
ウィンドウ設定部１０２、空間輝度勾配方向算出部１０４、空間ヒストグラム算出部１０６、時間輝度勾配方向算出部１０８および時間ヒストグラム算出部１１０の構成は、実施の形態１に示したのと同様の構成を有する。このため、その詳細な説明はここでは繰り返さない。
【０１３５】
オプティカルフロー方向算出部１１４は、ウィンドウに含まれる画素ごとに、オプティカルフローの方向を算出する。
【０１３６】
オプティカルフローヒストグラム算出部１１６は、ウィンドウ内のオプティカルフローの方向のヒストグラムであるオプティカルフローヒストグラムを算出する。
【０１３７】
図１５は、移動物体検出装置２００が実行する処理のフローチャートである。
【０１３８】
Ｓ２からＳ１０の処理は、実施の形態１に示した図３のＳ２からＳ１０の処理と同様である。このため、その詳細な説明は繰り返さない。
【０１３９】
図１６（ａ）を参照して、オプティカルフロー方向算出部１１４は、ウィンドウ５２に含まれる画素ごとに、オプティカルフローの方向を算出する（Ｓ１６）。図１７（ａ）を参照して、ウィンドウ５２内の各画素の輝度値をＩ（ｘ，ｙ，ｔ）とした場合に、オプティカルフロー方向算出部１１４は、各画素のオプティカルフローｕ＝［ｕx，ｕy］を算出する。また、各画素のオプティカルフローの方向ψを次式（３）により算出する。
【０１４０】
ψ＝ｔａｎ-1（ｕy／ｕx）  …（３）
なお、オプティカルフローｕ＝［ｕx，ｕy］は、勾配法やテンプレートマッチング法などの一般的に公知の手法を用いて算出することができる。このため、その詳細な説明はここでは繰り返さない。
【０１４１】
オプティカルフローｕとオプティカルフローの方向ψとの関係は図１７（ｂ）に示す通りである。つまり、ｘ軸をｕx、ｙ軸をｕyとする２次元平面状のベクトルｕとｘ軸とのなす角がオプティカルフローの方向ψとなる。
【０１４２】
オプティカルフローヒストグラム算出部１１６は、パッチごとに、パッチ内のオプティカルフローの方向ψのヒストグラムであるオプティカルフローヒストグラムを作成する（Ｓ１８）。例えば、オプティカルフローの方向ψを所定の幅で量子化し（例えば３０度の幅で量子化し）、オプティカルフローの方向ψの各ビンの頻度を計数することにより、図１６（ｄ）に示すようなオプティカルフローヒストグラムが算出される。オプティカルフローヒストグラム算出部１１６は、このようなオプティカルフローヒストグラムをパッチの個数だけ算出する。なお、Ｓ６の処理により図１６（ｂ）に示すような空間ヒストグラムが算出され、Ｓ１０の処理により図１６（ｃ）に示すような時間ヒストグラムがされている。
【０１４３】
判断部１１８は、空間ヒストグラム算出部１０６で算出されたパッチの個数分の空間ヒストグラムと、時間ヒストグラム算出部１１０で算出されたパッチの個数分の時間ヒストグラムと、オプティカルフローヒストグラム算出部１１６で算出されたパッチの個数分のオプティカルフローヒストグラムとを入力特徴量として受け、入力特徴量に基づいて、ウィンドウ５２内に移動物体が含まれるか否かを判断する（Ｓ２０）。移動物体の検出方法（判断方法）については、例えば、Ａｄａｂｏｏｓｔ、ＳＶＭ、ニューラルネットワークなどの一般的な手法を用いることができる。このため、その詳細な説明はここでは繰り返さない。
【０１４４】
ウィンドウ設定部１０２は、ウィンドウ５２が動画像データ５０内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４）。全ての位置にウィンドウ５２を設定済みであれば（Ｓ１４でＹＥＳ）、移動物体検出装置２００は処理を終了する。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４でＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２）、移動物体検出装置２００は、設定したウィンドウ５２に対してＳ４以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
【０１４５】
以上説明したように、実施の形態２に係る移動物体検出装置によると、実施の形態１に係る移動物体検出装置に加えて、移動物体の動きの方向の特徴を示すオプティカルフローヒストグラムを加味して移動物体の検出を行っている。このため、さらに安定して移動物体を検出することができる。
【０１４６】
（実施の形態３）
次に、実施の形態３に係る移動物体検出装置について説明する。実施の形態２では、空間ヒストグラムと時間ヒストグラムとオプティカルフローヒストグラムとに基づいて移動物体の検出を行ったが、実施の形態３では、各ヒストグラムの作成方法が異なる。つまり、変量の共起性を加味したヒストグラムを作成する点が実施の形態２とは異なる。
【０１４７】
実施の形態３に係る移動物体検出装置は、図１４に示した実施の形態２に係る移動物体検出装置２００と同様の構成を有する。ただし、各処理部が実行する処理が実施の形態２とは異なる。以下、実施の形態２と異なる点を中心に実施の形態３に係る移動物体検出装置２００について説明する。
【０１４８】
空間ヒストグラム算出部１０６は、互いに所定の位置関係にある複数画素の空間輝度勾配方向の組合せを第１の変量組とし、ウィンドウ内での第１の変量組のヒストグラムを算出する。
【０１４９】
時間ヒストグラム算出部１１０は、互いに前記所定の位置関係にある複数画素の時間輝度勾配方向の組合せを第２の変量組とし、ウィンドウ内での第２の変量組のヒストグラムを算出する。
【０１５０】
オプティカルフローヒストグラム算出部１１６は、互いに前記所定の位置関係にある複数画素のオプティカルフローの方向の組合せを第３の変量組とし、ウィンドウ内での第３の変量組のヒストグラムを算出する。
【０１５１】
判断部１１８は、第１の変量組のヒストグラムと、第２の変量組のヒストグラムと、第３の変量組のヒストグラムとに基づいて、ウィンドウ内に移動物体が含まれるか否かを判断する。
【０１５２】
移動物体検出装置２００が実行する処理の流れは、図１５に示したフローチャートの流れと同じである。ただし、個々の処理が異なる。以下、異なる点を中心に説明する。
【０１５３】
Ｓ２およびＳ４の処理は実施の形態２と同様である。
【０１５４】
空間ヒストグラム算出部１０６は、ウィンドウ内のパッチごとに上記第１の変量組のヒストグラムを算出する（Ｓ６）。図１８を参照して、Ｓ６の処理を詳細に説明する。図１８（ａ）は、ウィンドウ５２内に設けられたパッチ５４ｂの一例を示している。図１８（ｂ）は、パッチ５４ｂを拡大した図であり、パッチ５４ｂ内のある時刻における画素配列と、次の時刻における画素配列とを示している。つまり、ある時刻における画素Ｐ0に着目すると、紙面上でその右斜め下の隣接画素、下の隣接画素、左斜め下の隣接画素、左の隣接画素を、それぞれ、共起画素Ｐ1、Ｐ2、Ｐ3、Ｐ4とする。また、画素Ｐ0とｘ座標およびｙ座標が同一である次の時刻における画素を共起画素Ｐ9とする。さらに、共起画素Ｐ9の周囲８近傍の隣接画素を共起画素Ｐ5〜Ｐ8、Ｐ10〜Ｐ13とする。また、画素Ｐ0の空間輝度勾配方向をφ0とし、共起画素Ｐi（ｉ＝１〜１３）の空間輝度勾配方向をφi（ｉ＝１〜１３）とする。空間ヒストグラム算出部１０６は、パッチ５４ｂ内の各画素を着目する画素Ｐ0とした場合に、φ0とφiとを第１の変量組とする２次元のヒストグラムを作成する。この２次元ヒストグラムが上述の第１の変量組のヒストグラムである。図１８（ｃ）は、φ0とφ1とを第１の変量組とするヒストグラムの一例を示し、図１８（ｄ）は、φ0とφ5とを第１の変量組とするヒストグラムの一例を示す。図１８（ｂ）に示す例では、画素Ｐ0と共起画素Ｐi（ｉ＝１〜１３）との組合せが１３個あるため、１つのパッチ５４ｂから１３個の第１の変量組のヒストグラムが得られる。空間ヒストグラム算出部１０６は、この１３個の第１の変量組のヒストグラムをウィンドウ５２内の全てのパッチについて算出する。
【０１５５】
Ｓ８の処理は実施の形態２と同様である。
【０１５６】
時間ヒストグラム算出部１１０は、ウィンドウ内のパッチごとに上記第２の変量組のヒストグラムを算出する（Ｓ１０）。第２の変量組のヒストグラムの算出方法は、図１８に示した第１の変量組のヒストグラムの算出方法において、空間輝度勾配方向が時間輝度勾配方向に変わっただけであり、それ以外は同じである。このため、その詳細な説明は繰り返さない。Ｓ１０の処理によると、第１の変量組のヒストグラムと同様に、１つのパッチ５４ｂから１３個の第２の変量組のヒストグラムが得られる。空間ヒストグラム算出部１０６は、この１３個の第２の変量組のヒストグラムをウィンドウ５２内の全てのパッチについて算出する。
【０１５７】
Ｓ１６の処理は実施の形態２と同様である。
【０１５８】
オプティカルフローヒストグラム算出部１１６は、ウィンドウ内のパッチごとに上記第３の変量組のヒストグラムを算出する（Ｓ１８）。第３の変量組のヒストグラムの算出方法は、図１８に示した第１の変量組のヒストグラムの算出方法において、空間輝度勾配方向がオプティカルフローの方向に変わっただけであり、それ以外は同じである。このため、その詳細な説明は繰り返さない。Ｓ１８の処理によると、第１の変量組のヒストグラムと同様に、１つのパッチ５４ｂから１３個の第３の変量組のヒストグラムが得られる。空間ヒストグラム算出部１０６は、この１３個の第３の変量組のヒストグラムをウィンドウ５２内の全てのパッチについて算出する。
【０１５９】
判断部１１８は、空間ヒストグラム算出部１０６で算出されたパッチの個数×１３個の第１の変量組のヒストグラムと、時間ヒストグラム算出部１１０で算出されたパッチの個数×１３個の第２の変量組のヒストグラムと、オプティカルフローヒストグラム算出部１１６で算出されたパッチの個数×１３個の第３の変量組のヒストグラムとを入力特徴量として受け、入力特徴量に基づいて、ウィンドウ５２内に移動物体が含まれるか否かを判断する（Ｓ２０）。移動物体の検出方法（判断方法）については、例えば、Ａｄａｂｏｏｓｔ、ＳＶＭ、ニューラルネットワークなどの一般的な手法を用いることができる。このため、その詳細な説明はここでは繰り返さない。
【０１６０】
ウィンドウ設定部１０２は、ウィンドウ５２が動画像データ５０内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４）。全ての位置にウィンドウ５２を設定済みであれば（Ｓ１４でＹＥＳ）、移動物体検出装置２００は処理を終了する。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４でＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２）、移動物体検出装置２００は、設定したウィンドウ５２に対してＳ４以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
【０１６１】
以上説明したように、実施の形態３に係る移動物体検出装置によると、ウィンドウ内での空間輝度勾配方向の共起性を示す第１の変量組のヒストグラム、時間輝度勾配方向の共起性を示す第２の変量組のヒストグラムおよびオプティカルフローの方向の共起性を示す第３の変量組のヒストグラムをそれぞれ作成し、これら３種類のヒストグラムに基づいて移動物体を検出している。このように同一の特徴量の時空間内での共起性を示すヒストグラムを用いることにより、安定して移動物体を検出することができる。
【０１６２】
（実験結果）
従来手法と上述の実施の形態で示した移動物体検出装置による移動物体検出方法とを比較する実験を行った。なお、移動物体検出装置の判断部における検出方法には、Ａｄａｂｏｏｓｔを用いた。また、オプティカルフローの算出にはＬｕｃａｓ−Ｋａｎａｄｅ法を用い、そのコードはＯｐｅｎＣＶとして公開されているものを用いた。
【０１６３】
図１９は、雨の日に撮影された動画像データに対し、各種特徴量を用いた検出手法のＲＰＣ（Recall-precision curve）を示したグラフである。ＲＰＣの詳細については、非特許文献６に開示されている。
【０１６４】
［非特許文献６］S.Agawal and D.Roth, “Learning a Sparse Representation for Object Detection”, ECCV, 2002
【０１６５】
図１９のグラフにおいて、横軸は移動物体の誤検出率を示し、縦軸は移動物体の検出率を示している。つまり、誤検出率が０に近く、検出率が１に近いほど（ＲＰＣがグラフの左上に近づくほど）、高性能であると言える。図１９において、ＨＯＧ−ＲＰＣは、ＨＯＧ特徴量を用いた手法のＲＰＣであり、ＳｅＨＯＧ−ＲＰＣは、ＳｅＨＯＧ特徴量（ＨＯＧ特徴量を複数フレーム分並べた特徴量）を用いた手法のＲＰＣであり、ＨＯＧＨＯＦ−ＲＰＣは、ＨＯＧＨＯＦ特徴量を用いた手法のＲＰＣである。また、ＳＴＨＯＧ−ＲＰＣは、実施の形態１で説明した特徴量（以下、「ＳＴＨＯＧ特徴量」という。）を用いた手法のＲＰＣである。さらに、ＳＴＨＯＧＨＯＦ−ＲＰＣは、実施の形態２で説明した特徴量（以下、「ＳＴＨＯＧＨＯＦ特徴量」という。）を用いた手法のＲＰＣである。３ＤＨＯＧ−２０Ｓｉｄｅｓ−ＲＰＣは３ＤＨＯＧ特徴量を用いた手法のＲＰＣである。各ＲＰＣを比較すると、ＳＴＨＯＧＨＯＦ−ＲＰＣがグラフの左上隅に近寄っておりＳＴＨＯＧＨＯＦ特徴量を用いた手法が最も性能が高く、次に、ＳＴＨＯＧ特徴量とＨＯＧＨＯＦ特徴量とを用いた手法が性能が高いことが分かる。
【０１６６】
図２０は、雨の日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。図２０（ａ）は、ＨＯＧ特徴量を用いた歩行者の検出結果の一例を示し、図２０（ｂ）は、ＨＯＧＨＯＦ特徴量を用いた歩行者の検出結果の一例を示し、図２０（ｃ）は、ＳＴＨＯＧ特徴量を用いた歩行者の検出結果の一例を示す。各検出結果は同一の時刻における画像データを示しており、歩行者として検出された領域を矩形で示している。図２１〜図２３は、図２０に示したのと異なる時刻に撮影された画像データに対する検出結果を示す。各検出結果を比較すると、ＨＯＧ特徴量を用いた場合には、図２０（ａ）の右下の矩形のように背景を歩行者と誤って検出する場合や、図２１（ａ）または図２３（ａ）のように歩行者を検出できていない場合などがある。これに比べて、ＨＯＧＨＯＦ特徴量およびＳＴＨＯＧ特徴量を用いた場合には、安定して歩行者を検出できていることが分かる。
【０１６７】
図２４は、晴れの日に撮影された動画像データに対して、各種特徴量を用いた検出手法のＲＰＣを示したグラフである。グラフの見方は図１９と同様である。各ＲＰＣを比較するとＳＴＨＯＧ−ＲＰＣとＳＴＨＯＧＨＯＦ−ＲＰＣとがグラフの左上隅に近寄っており、ＳＴＨＯＧ特徴量とＳＴＨＯＧＨＯＦ特徴量とを用いた手法が同程度で最も性能が高く、次にＨＯＧＨＯＦ特徴量を用いた手法の性能が高いことが分かる。ＨＯＧＨＯＦ特徴量を用いた手法の性能が雨の日に撮影された動画像データに対する性能に比べ悪くなっているのは、影の影響を受けるからである。
【０１６８】
図２５は、晴れの日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。図２５（ａ）は、ＨＯＧ特徴量を用いた歩行者の検出結果の一例を示し、図２５（ｂ）は、ＨＯＧＨＯＦ特徴量を用いた歩行者の検出結果の一例を示し、図２５（ｃ）は、ＳＴＨＯＧ特徴量を用いた歩行者の検出結果の一例を示す。各検出結果は同一の時刻における画像データを示しており、歩行者として検出された領域を矩形で示している。また、図２６〜図２８は、図２５に示したのと異なる時刻に撮影された画像データに対する検出結果を示す。各検出結果を比較すると、ＨＯＧ特徴量を用いた場合には、図２５（ａ）または図２６（ａ）のように歩行者を検出できていない場合や、図２８（ａ）の左上の矩形のように背景を歩行者と誤って検出する場合がある。また、ＨＯＧＨＯＦ特徴量を用いた場合には、歩行者の影を歩行者と誤って検出してしまう場合がある。これに対して、ＳＴＨＯＧ特徴量を用いた場合には、歩行者の影やその他の背景を歩行者と誤検出してしまうことなく、安定に歩行者を検出できていることが分かる。
【０１６９】
以上示した実験データより、ＳＴＨＯＧ特徴量およびＳＴＨＯＧＨＯＦ特徴量を用いた移動物体の検出の優位性を示すことができた。
【０１７０】
なお、図２９および図３０は、他のシーンの動画像データにおいてＳＴＨＯＧ特徴量を用いて歩行者検出を行った結果を示しており、安定して歩行者を検出できることが分かる。また、図３１は、ＳＴＨＯＧ特徴量を用いて一輪車に乗った人物を検出した結果を示しており、一輪車に乗っていても人物を安定して検出できることが分かる。
【０１７１】
以上、本発明の実施の形態に係る移動物体検出装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１７２】
例えば、上述の実施の形態３では、２画素の空間輝度勾配方向の組合せを第１の変量組として説明を行ったが、画素数は２画素に限定されるものではなく、３画素以上の空間輝度勾配方向の組合せを第１の変量組としてもよい。同様に、３画素以上の時間輝度勾配方向の組合せを第２の変量組としてもよいし、３画素以上のオプティカルフローの方向の組合せを第３の変量組としてもよい。
【０１７３】
また、上述の実施の形態３では、第１の変量組のヒストグラムと第２の変量組のヒストグラムと第３の変量組のヒストグラムとを用いて移動物体の検出を行ったが、第１の変量組のヒストグラムと第２の変量組のヒストグラムのみを用いて移動物体の検出を行ってもよい。この場合には、図１に示した移動物体検出装置１００と同様の構成を有する移動物体検出装置によって移動物体の検出を行うことができる。
【０１７４】
また、実施の形態１の変形例１または２で示した画像ピラミッドに基づく移動物体の検出処理、または、実施の形態１の変形例３で示した複数サイズのウィンドウに基づく移動物体の検出処理を、実施の形態２または実施の形態３に適用してもよい。なお、画像ピラミッドの階層は上記変形例に示した２階層に限定されるものではなく、３階層以上あってもよい。つまり、縮小比率の異なる縮小動画像データを複数用意して、移動物体の検出処理を行なってもよい。
【０１７５】
また、ウィンドウおよびパッチの形状は直方体に限定されるものではなく、その他の形状であってもよい。例えば、球形であってもよい。
【０１７６】
また、上述の実施の形態１〜３において、ウィンドウ５２のサイズを１種類に限定するのではなく複数のサイズのウィンドウ５２を設け、サイズの異なるウィンドウ５２ごとに移動物体の検出を行うようにしてもよい。つまり、実施の形態１の例で説明すると、ウィンドウ設定部１０２は、動画像データ５０中に、互いに異なる体積を有する複数のウィンドウ５２を設定する。また、空間ヒストグラム算出部１０６は、複数のウィンドウ５２の各々について、空間ヒストグラムを算出する。さらに、時間ヒストグラム算出部１１０は、複数のウィンドウ５２の各々について、時間ヒストグラムを算出する。さらにまた、判断部１１８は、複数のウィンドウ５２の各々について、空間ヒストグラムと時間ヒストグラムとに基づいて、当該ウィンドウ５２内に移動物体が含まれるか否かを判断する。このようにサイズの異なるウィンドウ５２を複数設けることにより、様々なサイズの移動物体を検出することができる。
【０１７７】
また、実施の形態３において、共起画素Ｐiは、着目する画素Ｐ0の隣接画素に限定されるものではなく、画素Ｐ0と所定の位置関係にある画素であればいずれの画素であってもよい。また、共起画素Ｐiの個数は１３個に限定されるものではなく、適宜選択することができる。例えば、１個であってもよい。
【０１７８】
また、上述の実施の形態１〜３では、ウィンドウを設定するたびに空間輝度勾配方向および時間輝度勾配方向を算出しているが、ウィンドウの位置の移動前後においてはウィンドウの重なりが生じる。このため、重なりが生じている部分の空間輝度勾配方向および時間輝度勾配方向については再度算出を行うことなく、既に算出済みの空間輝度勾配方向および時間輝度勾配方向を利用して、空間ヒストグラムおよび時間ヒストグラムを算出してもよい。
【０１７９】
また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１８０】
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１８１】
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
【０１８２】
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
【０１８３】
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な不揮発性の記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの不揮発性の記録媒体に記録されている上記デジタル信号であるとしても良い。
【０１８４】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
【０１８５】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
【０１８６】
また、上記プログラムまたは上記デジタル信号を上記不揮発性の記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
【０１８７】
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
【０１８８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１８９】
本発明は、監視装置、走行車両における歩行者検出装置、または知能ロボット等に適用できる。
【符号の説明】
【０１９０】
１０  入力画像
１２、５２  ウィンドウ
１４ａ、１４ｂ、５４ａ、５４ｂ、５６ａ  パッチ
４０  ２次元画像データ
５０  動画像データ
５０ａ、５０ｂ  縮小動画像データ
５２ａ、５２ｂ  縮小ウィンドウ
５５  ベクトル
１００、１００ａ、２００  移動物体検出装置
１０２  ウィンドウ設定部
１０３  縮小動画像データ作成部
１０４  空間輝度勾配方向算出部
１０５  縮小ウィンドウ設定部
１０６  空間ヒストグラム算出部
１０８  時間輝度勾配方向算出部
１１０  時間ヒストグラム算出部
１１２、１１８  判断部
１１４  オプティカルフロー方向算出部
１１６  オプティカルフローヒストグラム算出部
【図１】
0005467300.tif 000004
【図２】
0005467300.tif 000005
【図３】
0005467300.tif 000006
【図４】
0005467300.tif 000007
【図５】
0005467300.tif 000008
【図６】
0005467300.tif 000009
【図７】
0005467300.tif 000010
【図８】
0005467300.tif 000011
【図９】
0005467300.tif 000012
【図１０】
0005467300.tif 000013
【図１１】
0005467300.tif 000014
【図１２Ａ】
0005467300.tif 000015
【図１２Ｂ】
0005467300.tif 000016
【図１２Ｃ】
0005467300.tif 000017
【図１３】
0005467300.tif 000018
【図１４】
0005467300.tif 000019
【図１５】
0005467300.tif 000020
【図１６】
0005467300.tif 000021
【図１７】
0005467300.tif 000022
【図１８】
0005467300.tif 000023
【図１９】
0005467300.tif 000024
【図２０】
0005467300.tif 000025
【図２１】
0005467300.tif 000026
【図２２】
0005467300.tif 000027
【図２３】
0005467300.tif 000028
【図２４】
0005467300.tif 000029
【図２５】
0005467300.tif 000030
【図２６】
0005467300.tif 000031
【図２７】
0005467300.tif 000032
【図２８】
0005467300.tif 000033
【図２９】
0005467300.tif 000034
【図３０】
0005467300.tif 000035
【図３１】
0005467300.tif 000036
【図３２】
0005467300.tif 000037
【図３３】
0005467300.tif 000038