(57)【要約】【課題】動画像に含まれる各画像を解析する構成において、対象物の動きをより正確に検出する。【解決手段】画像解析装置１０１は、動画像に含まれる各画像に対して１または複数の空間範囲を設定する空間範囲設定部２３と、各画像に対して１または複数の周波数範囲を設定するフィルタ処理制御部３１と、各画像に含まれる画素のうち、当該周波数範囲に含まれる周波数で特性量が時間変化する画素を検出する時間領域フィルタ処理部３４と、画素の特性量の時間変化に基づいて、各画像における空間範囲に含まれる特徴点を検出する特徴点検出部２４と、空間範囲および特徴点に基づいて対象物の動きを検出する対象物検出部２６とを備える。空間範囲設定部２３が空間範囲を変更可能であるか、フィルタ処理制御部３１が周波数範囲を変更可能であるか、または、空間範囲設定部２３が空間範囲を変更可能であり、かつフィルタ処理制御部３１が周波数範囲を変更可能である。【選択図】図２
2014186497.tif 000002
【特許請求の範囲】
【請求項１】
動画像を取得する画像取得部と、
前記画像取得部により取得された前記動画像に含まれる各画像に対して１または複数の空間範囲を設定する空間範囲設定部と、
前記各画像に対して１または複数の周波数範囲を設定し、前記各画像に含まれる画素のうち、前記周波数範囲に含まれる周波数で特性量が時間変化する画素を検出する画像変化検出部と、
前記画像変化検出部により検出された前記画素の特性量の時間変化に基づいて、前記各画像における前記空間範囲に含まれる特徴点を検出する特徴点検出部と、
前記空間範囲設定部により設定された前記空間範囲および前記特徴点検出部により検出された前記特徴点に基づいて対象物の動きを検出する対象物検出部とを備え、
前記空間範囲設定部が前記空間範囲を変更可能であるか、前記画像変化検出部が前記周波数範囲を変更可能であるか、または、前記空間範囲設定部が前記空間範囲を変更可能であり、かつ前記画像変化検出部が前記周波数範囲を変更可能である、画像解析装置。
【請求項２】
前記動画像に含まれる各画像は、複数の画素を含み、
前記画像変化検出部は、前記動画像に含まれる各画像において、前記画素の特性量の時間軸方向の変化を示す信号の周波数成分のうち、設定した前記周波数範囲外の成分を減衰させることにより前記時間軸方向における変化を検出する、請求項１に記載の画像解析装置。
【請求項３】
前記画像解析装置は、さらに、
前記対象物検出部により検出された前記対象物の、前記動画像に含まれる画像に対するスケールを演算するスケール演算部を備え、
前記空間範囲設定部は、前記スケール演算部により演算された前記スケールに基づいて前記空間範囲を新たに設定する、請求項１または請求項２に記載の画像解析装置。
【請求項４】
前記画像解析装置は、さらに、
前記画像取得部により取得された前記動画像に含まれる各画像の空間軸方向における変化の速さを抑制した画像である平滑化画像を複数生成する画像平滑化部を備え、
前記画像変化検出部は、各前記平滑化画像に対して１または複数の前記周波数範囲を設定し、前記各平滑化画像に含まれる画素のうち、設定した前記周波数範囲に含まれる周波数で特性量が時間変化する画素を検出する、請求項１から請求項３のいずれか１項に記載の画像解析装置。
【請求項５】
前記画像平滑化部は、前記空間範囲設定部により設定される前記空間範囲に応じて前記空間軸方向における変化の速さの抑制度合いを変更する、請求項４に記載の画像解析装置。
【請求項６】
前記空間範囲設定部は、前記特徴点検出部により検出された前記特徴点に基づいて前記空間範囲を新たに設定する、請求項５に記載の画像解析装置。
【請求項７】
前記空間範囲設定部は、複数の異なる前記空間範囲と前記特徴点検出部により検出された前記特徴点との関係に基づいて前記空間範囲を新たに設定する、請求項６に記載の画像解析装置。
【請求項８】
前記空間範囲設定部は、複数の異なる前記空間範囲と前記特徴点検出部により検出された前記特徴点との関係に基づいて、設定すべき前記空間範囲の個数を新たに設定する、請求項６または請求項７に記載の画像解析装置。
【請求項９】
前記動画像に含まれる各画像は、複数の画素を含み、
前記画像平滑化部は、前記動画像に含まれる各画像において、前記画素の特性量の空間軸方向の変化を示す信号の波数成分のうち、前記空間範囲に応じた波数以上の成分を減衰させることにより前記平滑化画像を生成する、請求項５に記載の画像解析装置。
【請求項１０】
前記画像平滑化部は、前記動画像に含まれる画像の隅のいずれかに位置する前記画素を原点画素とし、前記画像に含まれる前記画素である対象画素および前記原点画素を結ぶ線分を対角線とする四角形であって、前記原点画素を含む前記画像の辺の一部または全部を有する四角形に含まれる前記画素の特性量の総和について、各前記画素を前記対象画素として前記総和をそれぞれ演算し、
前記画像平滑化部は、前記各画素についての前記総和を用いて前記平滑化画像を生成する、請求項９に記載の画像解析装置。
【請求項１１】
画像解析装置における画像解析方法であって、
動画像に含まれる各画像に対して１または複数の空間範囲を設定するステップと、
前記各画像に対して１または複数の周波数範囲を設定し、前記各画像に含まれる画素のうち、前記周波数範囲に含まれる周波数で特性量が時間変化する画素を検出するステップと、
検出した前記画素の特性量の時間変化に基づいて、前記各画像における前記空間範囲に含まれる特徴点を検出するステップと、
設定した前記空間範囲および検出した前記特徴点に基づいて対象物の動きを検出するステップと、
前記周波数範囲および前記空間範囲のうち少なくともいずれか一方を変更するステップと、
前記周波数範囲を変更した場合、動画像に含まれる各画像に対して変更後の前記周波数範囲を設定し、前記各画像に含まれる画素のうち、前記変更後の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した前記画素の特性量の時間変化に基づいて、前記各画像における未変更の前記空間範囲に含まれる特徴点を新たに検出し、未変更の前記空間範囲、および新たに検出した前記特徴点に基づいて対象物の動きを検出するステップと、
前記空間範囲を変更した場合、動画像に含まれる各画像に対して未変更の前記周波数範囲を設定し、前記各画像に含まれる画素のうち、前記未変更の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した前記画素の特性量の時間変化に基づいて、前記各画像における変更後の前記空間範囲に含まれる特徴点を新たに検出し、変更後の前記空間範囲、および新たに検出した前記特徴点に基づいて対象物の動きを検出するステップと、
前記周波数範囲および前記空間範囲を変更した場合、動画像に含まれる各画像に対して変更後の前記周波数範囲を設定し、前記各画像に含まれる画素のうち、前記変更後の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した前記画素の特性量の時間変化に基づいて、前記各画像における変更後の前記空間範囲に含まれる特徴点を新たに検出し、変更後の前記空間範囲、および新たに検出した前記特徴点に基づいて対象物の動きを検出するステップとを含む、画像解析方法。
【請求項１２】
画像解析装置において用いられる画像解析プログラムであって、
コンピュータに、
動画像に含まれる各画像に対して１または複数の空間範囲を設定するステップと、
前記各画像に対して１または複数の周波数範囲を設定し、前記各画像に含まれる画素のうち、前記周波数範囲に含まれる周波数で特性量が時間変化する画素を検出するステップと、
検出した前記画素の特性量の時間変化に基づいて、前記各画像における前記空間範囲に含まれる特徴点を検出するステップと、
設定した前記空間範囲および検出した前記特徴点に基づいて対象物の動きを検出するステップと、
前記周波数範囲および前記空間範囲のうち少なくともいずれか一方を変更するステップと、
前記周波数範囲を変更した場合、動画像に含まれる各画像に対して変更後の前記周波数範囲を設定し、前記各画像に含まれる画素のうち、前記変更後の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した前記画素の特性量の時間変化に基づいて、前記各画像における未変更の前記空間範囲に含まれる特徴点を新たに検出し、未変更の前記空間範囲、および新たに検出した前記特徴点に基づいて対象物の動きを検出するステップと、
前記空間範囲を変更した場合、動画像に含まれる各画像に対して未変更の前記周波数範囲を設定し、前記各画像に含まれる画素のうち、前記未変更の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した前記画素の特性量の時間変化に基づいて、前記各画像における変更後の前記空間範囲に含まれる特徴点を新たに検出し、変更後の前記空間範囲、および新たに検出した前記特徴点に基づいて対象物の動きを検出するステップと、
前記周波数範囲および前記空間範囲を変更した場合、動画像に含まれる各画像に対して変更後の前記周波数範囲を設定し、前記各画像に含まれる画素のうち、前記変更後の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した前記画素の特性量の時間変化に基づいて、前記各画像における変更後の前記空間範囲に含まれる特徴点を新たに検出し、変更後の前記空間範囲、および新たに検出した前記特徴点に基づいて対象物の動きを検出するステップとを実行させるための、画像解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置、画像解析方法および画像解析プログラムに関し、特に、動画像に含まれる各画像を解析する画像解析装置、画像解析方法および画像解析プログラムに関する。
【背景技術】
【０００２】
動画像に含まれる被写体の向きおよび動き等を解析する方法は一般に３つのタイプに分けられる。すなわち、被写体のエッジおよびリムに基づいた静的な解析、オプティカルフローを用いた動的な解析、および動画像の一区間における局所領域の情報に基づいた時空間解析である。中でも時空間解析は、人間の行動を分類する場合に有用であるとされている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Juan Carlos Niebles, Hongcheng Wang, Li Fei-Fei, "Unsupervised Learning of Human Action Categories Using Spatial-Temporal Words", International Journal of Computer Vision, Volume 79, pp299-318, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１（Juan Carlos Niebles, Hongcheng Wang, Li Fei-Fei, "Unsupervised Learning of Human Action Categories Using Spatial-Temporal Words", International Journal of Computer Vision, Volume 79, pp299-318, 2008.）には、時空間解析の一つとして、時間軸方向および空間軸方向に分離可能な線形フィルタを動画像に適用することにより時空間特徴点（spatial-temporal interest point）を検出し、検出した時空間特徴点を含む領域を切り出したビデオパッチ（small video patch）に基づいて動画像に含まれる被写体の動きを検出する方法が記載されている。ここで、時空間特徴点とは、動画像において、被写体の動きの有る部分であり、かつ被写体の明るさの変化の有る部分をいう。
【０００５】
しかしながら、上記方法では、線形フィルタの帯域および時空間特徴点を含む領域のサイズである空間範囲が固定であるため、対象とする被写体である対象物の動きを正確に検出できない場合がある。
【０００６】
具体的には、たとえば、動画像中における対象物の動きの速さと時間軸方向の線形フィルタの帯域とのマッチングがよくない場合、対象物の検出に有用な時空間特徴点を検出できなかったり、対象物と離れた点を時空間特徴点として検出したりするときがある。この場合、時空間特徴点を正確に検出できないので、対象物の動きを正確に検出できない。
【０００７】
また、時空間特徴点を含む空間範囲の大きさと、動画像における対象物の大きさとのマッチングがよくない場合、ビデオパッチにおける対象物の大きさが大きすぎたり、小さすぎたりするので、対象物の動きを正確に検出できない場合がある。
【０００８】
この発明は、上述の課題を解決するためになされたもので、その目的は、動画像に含まれる各画像を解析する構成において、対象物の動きをより正確に検出することが可能な画像解析装置、画像解析方法および画像解析プログラムを提供することである。
【課題を解決するための手段】
【０００９】
（１）上記課題を解決するために、この発明のある局面に係わる画像解析装置は、動画像を取得する画像取得部と、上記画像取得部により取得された上記動画像に含まれる各画像に対して１または複数の空間範囲を設定する空間範囲設定部と、上記各画像に対して１または複数の周波数範囲を設定し、上記各画像に含まれる画素のうち、上記周波数範囲に含まれる周波数で特性量が時間変化する画素を検出する画像変化検出部と、上記画像変化検出部により検出された上記画素の特性量の時間変化に基づいて、上記各画像における前記空間範囲に含まれる特徴点を検出する特徴点検出部と、上記空間範囲設定部により設定された上記空間範囲および上記特徴点検出部により検出された上記特徴点に基づいて対象物の動きを検出する対象物検出部とを備え、上記空間範囲設定部が上記空間範囲を変更可能であるか、上記画像変化検出部が上記周波数範囲を変更可能であるか、または、上記空間範囲設定部が上記空間範囲を変更可能であり、かつ上記画像変化検出部が上記周波数範囲を変更可能である。
【００１０】
このような構成により、周波数範囲および空間範囲の少なくとも一方を変更することができるので、たとえば対象物の大きさおよび対象物の動きの速さに柔軟に対応しながら、特徴点をより正確に検出し、検出した特徴点に基づいて対象物の動きをより正確に検出することができる。
【００１１】
また、たとえば、空間範囲設定部が複数の異なる空間範囲を設定する場合には、動画像中における対象物の大きさと空間範囲とがマッチングする確率を高めることができるので、当該対象物の動きをより正確に検出することができる。また、たとえば、動画像中において、大きさが異なる対象物がある場合においても、当該対象物の動きをより正確に検出することができる。
【００１２】
また、たとえば、画像変化検出部が複数の異なる周波数範囲を設定する場合には、動画像中における対象物の動きの速さに応じた特性量の時間変化と画像変化検出部が検出可能な時間変化とがマッチングする確率を高めることができるので、当該対象物の検出に有用な特徴点を検出することができる。また、たとえば、動画像中の対象物において、動きの速さが互いに異なる部分がある場合においても、各部分を当該対象物の検出に有用な特徴点として検出することができる。
【００１３】
これにより、検出した特徴点に基づいて当該対象物の動きをより正確に検出することができる。
【００１４】
したがって、たとえば、空間範囲設定部が複数の異なる空間範囲を設定し、かつ画像変化検出部が複数の異なる周波数範囲を設定する場合には、複数の異なる変化の速さを有する対象物をより正確に特徴点として検出することができ、検出した特徴点に基づいて複数の異なる大きさの対象物の動きをより正確に検出することができる。
【００１５】
すなわち、対象物の時間に関するスケールが複数ある場合においても、特徴点をより正確に検出し、検出した特徴点に基づいて対象物の動きをより正確に検出することで、対象物の動きの速さおよび大きさの変化に対してロバストなスケール不変性を得ることができる。
【００１６】
（２）好ましくは、上記動画像に含まれる各画像は、複数の画素を含み、上記画像変化検出部は、上記動画像に含まれる各画像において、上記画素の特性量の時間軸方向の変化を示す信号の周波数成分のうち、設定した上記周波数範囲外の成分を減衰させることにより上記時間軸方向における変化を検出する。
【００１７】
このように、特性量の時間変化が、設定した周波数範囲に収まる画素を複数の画素の中から抽出する構成により、各画像間の時間軸方向における所望の変化を検出することができる。
【００１８】
（３）好ましくは、上記画像解析装置は、さらに、上記対象物検出部により検出された上記対象物の、上記動画像に含まれる画像に対するスケールを演算するスケール演算部を備え、上記空間範囲設定部は、上記スケール演算部により演算された上記スケールに基づいて上記空間範囲を新たに設定する。
【００１９】
このような構成により、検出された対象物の大きさと空間範囲とを良好にマッチングさせることができる。
【００２０】
（４）好ましくは、上記画像解析装置は、さらに、上記画像取得部により取得された上記動画像に含まれる各画像の空間軸方向における変化の速さを抑制した画像である平滑化画像を複数生成する画像平滑化部を備え、上記画像変化検出部は、各上記平滑化画像に対して１または複数の上記周波数範囲を設定し、上記各平滑化画像に含まれる画素のうち、設定した上記周波数範囲に含まれる周波数で特性量が時間変化する画素を検出する。
【００２１】
このように、各画像の空間軸方向における変化の速さを抑制する構成により、時間軸方向の速さの変化のばらつきが拡大することを防ぐことができるので、設定した周波数範囲に含まれる周波数で特性量が時間変化する画素をより正確に検出することができる。
【００２２】
これにより、対象物の空間に関するスケールが複数ある場合においても、特徴点をより正確に検出し、検出した特徴点に基づいて対象物の動きをより正確に検出することで、対象物の大きさの変化に対してロバストなスケール不変性を得ることができる。
【００２３】
（５）より好ましくは、上記画像平滑化部は、上記空間範囲設定部により設定される上記空間範囲に応じて上記空間軸方向における変化の速さの抑制度合いを変更する。
【００２４】
このように、各画像の空間軸方向における変化の速さの抑制度合いを空間範囲に応じて適切に変更する構成により、対象物の動きを正確に検出できなかったり、実際の対象物の動きと異なる動きを検出したりする誤検出を減少させることができる。
【００２５】
（６）より好ましくは、上記空間範囲設定部は、上記特徴点検出部により検出された上記特徴点に基づいて上記空間範囲を新たに設定する。
【００２６】
このような構成により、検出された特徴点に基づいて空間範囲を適切に設定することができるので、たとえば、各画像の空間軸方向における変化の速さの抑制度合いを、設定した空間範囲に応じて変更することにより、特徴点を正確に検出する確率を高めることができる。
【００２７】
（７）より好ましくは、上記空間範囲設定部は、複数の異なる上記空間範囲と上記特徴点検出部により検出された上記特徴点との関係に基づいて上記空間範囲を新たに設定する。
【００２８】
このような構成により、上記関係に基づいて空間範囲をより適切に設定することができるので、たとえば、各画像の空間軸方向における変化の速さを、設定した空間範囲に応じた適切な抑制度合いに変更することができる。
【００２９】
たとえば、対象物の検出に不適な特徴点が多く検出される空間範囲とは異なる空間範囲を新たに設定することにより、対象物の検出の効率を改善することができる。また、たとえば、上記関係に基づいて、対象物の検出に有用な特徴点が多く検出される空間範囲を新たに設定することにより、対象物の検出の効率を改善することができる。
【００３０】
（８）より好ましくは、上記空間範囲設定部は、複数の異なる上記空間範囲と上記特徴点検出部により検出された上記特徴点との関係に基づいて、設定すべき上記空間範囲の個数を新たに設定する。
【００３１】
このような構成により、上記関係に基づいて適切な個数の空間範囲を設定することができるので、特徴点を効率よく検出することができる。
【００３２】
（９）より好ましくは、上記動画像に含まれる各画像は、複数の画素を含み、上記画像平滑化部は、上記動画像に含まれる各画像において、上記画素の特性量の空間軸方向の変化を示す信号の波数成分のうち、上記空間範囲に応じた波数以上の成分を減衰させることにより上記平滑化画像を生成する。
【００３３】
このような構成により、画素間の特性量の変化を緩慢にし、平滑化画像を適切に生成することができる。
【００３４】
（１０）より好ましくは、上記画像平滑化部は、上記動画像に含まれる画像の隅のいずれかに位置する上記画素を原点画素とし、上記画像に含まれる上記画素である対象画素および上記原点画素を結ぶ線分を対角線とする四角形であって、上記原点画素を含む上記画像の辺の一部または全部を有する四角形に含まれる上記画素の特性量の総和について、各上記画素を上記対象画素として上記総和をそれぞれ演算し、上記画像平滑化部は、上記各画素についての上記総和を用いて上記平滑化画像を生成する。
【００３５】
このような構成により、平滑化画像を生成するために用いる２次元ガウシアンフィルタを簡易な処理で近似することができるので、平滑化画像を生成する際の処理負担を軽減することができる。
【００３６】
（１１）上記課題を解決するために、この発明のある局面に係わる画像解析方法は、画像解析装置における画像解析方法であって、動画像に含まれる各画像に対して１または複数の空間範囲を設定するステップと、上記各画像に対して１または複数の周波数範囲を設定し、上記各画像に含まれる画素のうち、上記周波数範囲に含まれる周波数で特性量が時間変化する画素を検出するステップと、検出した上記画素の特性量の時間変化に基づいて、上記各画像における上記空間範囲に含まれる特徴点を検出するステップと、設定した上記空間範囲および検出した上記特徴点に基づいて対象物の動きを検出するステップと、上記周波数範囲および上記空間範囲のうち少なくともいずれか一方を変更するステップと、上記周波数範囲を変更した場合、動画像に含まれる各画像に対して変更後の上記周波数範囲を設定し、上記各画像に含まれる画素のうち、上記変更後の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した上記画素の特性量の時間変化に基づいて、上記各画像における未変更の上記空間範囲に含まれる特徴点を新たに検出し、未変更の上記空間範囲、および新たに検出した上記特徴点に基づいて対象物の動きを検出するステップと、上記空間範囲を変更した場合、動画像に含まれる各画像に対して未変更の上記周波数範囲を設定し、上記各画像に含まれる画素のうち、上記未変更の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した上記画素の特性量の時間変化に基づいて、上記各画像における変更後の上記空間範囲に含まれる特徴点を新たに検出し、変更後の上記空間範囲、および新たに検出した上記特徴点に基づいて対象物の動きを検出するステップと、上記周波数範囲および上記空間範囲を変更した場合、動画像に含まれる各画像に対して変更後の上記周波数範囲を設定し、上記各画像に含まれる画素のうち、上記変更後の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した上記画素の特性量の時間変化に基づいて、上記各画像における変更後の上記空間範囲に含まれる特徴点を新たに検出し、変更後の上記空間範囲、および新たに検出した上記特徴点に基づいて対象物の動きを検出するステップとを含む。
【００３７】
このような構成により、周波数範囲および空間範囲の少なくとも一方を変更することができるので、たとえば対象物の大きさおよび対象物の動きの速さに柔軟に対応しながら、特徴点をより正確に検出し、検出した特徴点に基づいて対象物の動きをより正確に検出することができる。
【００３８】
また、たとえば、空間範囲設定部が複数の異なる空間範囲を設定する場合には、動画像中における対象物の大きさと空間範囲とがマッチングする確率を高めることができるので、当該対象物の動きをより正確に検出することができる。また、たとえば、動画像中において、大きさが異なる対象物がある場合においても、当該対象物の動きをより正確に検出することができる。
【００３９】
また、たとえば、画像変化検出部が複数の異なる周波数範囲を設定する場合には、動画像中における対象物の動きの速さに応じた特性量の時間変化と画像変化検出部が検出可能な時間変化とがマッチングする確率を高めることができるので、当該対象物の検出に有用な特徴点を検出することができる。また、たとえば、動画像中の対象物において、動きの速さが互いに異なる部分がある場合においても、各部分を当該対象物の検出に有用な特徴点として検出することができる。
【００４０】
これにより、検出した特徴点に基づいて当該対象物の動きをより正確に検出することができる。
【００４１】
したがって、たとえば、空間範囲設定部が複数の異なる空間範囲を設定し、かつ画像変化検出部が複数の異なる周波数範囲を設定する場合には、複数の異なる変化の速さを有する対象物をより正確に特徴点として検出することができ、検出した特徴点に基づいて複数の異なる大きさの対象物の動きをより正確に検出することができる。
【００４２】
すなわち、対象物の時間に関するスケールが複数ある場合においても、特徴点をより正確に検出し、検出した特徴点に基づいて対象物の動きをより正確に検出することで、対象物の動きの速さおよび大きさの変化に対してロバストなスケール不変性を得ることができる。
【００４３】
（１２）上記課題を解決するために、この発明のある局面に係わる画像解析プログラムは、画像解析装置において用いられる画像解析プログラムであって、コンピュータに、動画像に含まれる各画像に対して１または複数の空間範囲を設定するステップと、上記各画像に対して１または複数の周波数範囲を設定し、上記各画像に含まれる画素のうち、上記周波数範囲に含まれる周波数で特性量が時間変化する画素を検出するステップと、検出した上記画素の特性量の時間変化に基づいて、上記各画像における上記空間範囲に含まれる特徴点を検出するステップと、設定した上記空間範囲および検出した上記特徴点に基づいて対象物の動きを検出するステップと、上記周波数範囲および上記空間範囲のうち少なくともいずれか一方を変更するステップと、上記周波数範囲を変更した場合、動画像に含まれる各画像に対して変更後の上記周波数範囲を設定し、上記各画像に含まれる画素のうち、上記変更後の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した上記画素の特性量の時間変化に基づいて、上記各画像における未変更の上記空間範囲に含まれる特徴点を新たに検出し、未変更の上記空間範囲、および新たに検出した上記特徴点に基づいて対象物の動きを検出するステップと、上記空間範囲を変更した場合、動画像に含まれる各画像に対して未変更の上記周波数範囲を設定し、上記各画像に含まれる画素のうち、上記未変更の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した上記画素の特性量の時間変化に基づいて、上記各画像における変更後の上記空間範囲に含まれる特徴点を新たに検出し、変更後の上記空間範囲、および新たに検出した上記特徴点に基づいて対象物の動きを検出するステップと、上記周波数範囲および上記空間範囲を変更した場合、動画像に含まれる各画像に対して変更後の上記周波数範囲を設定し、上記各画像に含まれる画素のうち、上記変更後の周波数範囲に含まれる周波数で特性量が時間変化する画素を検出し、検出した上記画素の特性量の時間変化に基づいて、上記各画像における変更後の上記空間範囲に含まれる特徴点を新たに検出し、変更後の上記空間範囲、および新たに検出した上記特徴点に基づいて対象物の動きを検出するステップとを実行させるためのプログラムである。
【００４４】
このような構成により、周波数範囲および空間範囲の少なくとも一方を変更することができるので、たとえば対象物の大きさおよび対象物の動きの速さに柔軟に対応しながら、特徴点をより正確に検出し、検出した特徴点に基づいて対象物の動きをより正確に検出することができる。
【００４５】
また、たとえば、空間範囲設定部が複数の異なる空間範囲を設定する場合には、動画像中における対象物の大きさと空間範囲とがマッチングする確率を高めることができるので、当該対象物の動きをより正確に検出することができる。また、たとえば、動画像中において、大きさが異なる対象物がある場合においても、当該対象物の動きをより正確に検出することができる。
【００４６】
また、たとえば、画像変化検出部が複数の異なる周波数範囲を設定する場合には、動画像中における対象物の動きの速さに応じた特性量の時間変化と画像変化検出部が検出可能な時間変化とがマッチングする確率を高めることができるので、当該対象物の検出に有用な特徴点を検出することができる。また、たとえば、動画像中の対象物において、動きの速さが互いに異なる部分がある場合においても、各部分を当該対象物の検出に有用な特徴点として検出することができる。
【００４７】
これにより、検出した特徴点に基づいて当該対象物の動きをより正確に検出することができる。
【００４８】
したがって、たとえば、空間範囲設定部が複数の異なる空間範囲を設定し、かつ画像変化検出部が複数の異なる周波数範囲を設定する場合には、複数の異なる変化の速さを有する対象物をより正確に特徴点として検出することができ、検出した特徴点に基づいて複数の異なる大きさの対象物の動きをより正確に検出することができる。
【００４９】
すなわち、対象物の時間に関するスケールが複数ある場合においても、特徴点をより正確に検出し、検出した特徴点に基づいて対象物の動きをより正確に検出することで、対象物の動きの速さおよび大きさの変化に対してロバストなスケール不変性を得ることができる。
【発明の効果】
【００５０】
本発明によれば、動画像に含まれる各画像を解析する構成において、対象物の動きをより正確に検出することができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施の形態に係る異常行動検出システムの構成を示す図である。
【図２】本発明の実施の形態に係る画像解析装置の構成を示す図である。
【図３】本発明の実施の形態に係る画像解析装置が処理する画像Ｉ［ｔｎ］に含まれる画素の配置の一例を示す図である。
【図４】本発明の実施の形態に係る空間領域フィルタ処理部がフィルタ処理の対象とする各画素の特性量の空間軸方向における変化の一例を示す図である。
【図５】本発明の実施の形態に係る空間領域フィルタ処理部が生成する積分画像ＩＩ［ｔｎ］の一例を示す図である。
【図６】本発明の実施の形態に係る空間領域フィルタ処理部が用いるボックスフィルタＢＦ［ｉ］の一例を示す図である。
【図７】本発明の実施の形態に係る空間領域フィルタ処理部が生成する平滑化画像ＳＩ［ｔｎ］［ｉ］の一例を示す図である。
【図８】本発明の実施の形態に係る時間領域フィルタ処理部がフィルタ処理の対象とする画素の特性量の時間軸方向における変化の一例を示す図である。
【図９】本発明の実施の形態に係る時間領域フィルタ処理部が生成する変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］の一例を示す図である。
【図１０】本発明の実施の形態に係る特徴点検出部が受ける変化抽出画像の生成に用いられた画像Ｉ［ｔｎ］の一例を示す図である。
【図１１】本発明の実施の形態に係る特徴点検出部が時空間特徴点の検出対象とする各変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］の一例を示す図である。
【図１２】本発明の実施の形態に係る特徴点検出部が受ける変化抽出画像の生成に用いられた画像Ｉ［ｔｎ］および空間範囲の一例を示す図である。
【図１３】本発明の実施の形態に係る空間範囲設定部が演算する空間範囲と時空間特徴点の個数との関係の一例を示す図である。
【図１４】本発明の実施の形態に係るスケール演算部により処理される画像の一例を示す図である。
【図１５】本発明の実施の形態に係る訓練行動情報記憶部に保持されるコードブックの生成に用いられたキューボイドの画像の一例を示す図である。
【図１６】本発明の実施の形態に係る画像解析装置が撮影装置から受信した画像を解析する際の動作手順を定めたフローチャートである。
【図１７】本発明の実施の形態に係る対象物検出部が対象物の動作を検出する処理の詳細な動作手順を定めたフローチャートである。
【図１８】本発明の実施の形態に係る空間領域フィルタ処理部による空間領域のフィルタ処理の詳細な手順を定めたフローチャートである。
【図１９】本発明の実施の形態に係る時間領域フィルタ処理部による時間領域のフィルタ処理の詳細な手順を定めたフローチャートである。
【図２０】本発明の実施の形態に係る特徴点検出部による時空間特徴点の検出処理の詳細な手順を定めたフローチャートである。
【図２１】本発明の実施の形態に係る画像解析装置が時空間特徴点の個数に基づいて空間範囲を新たに設定する際の動作手順を定めたフローチャートである。
【図２２】本発明の実施の形態に係る画像解析装置が検出した対象物のスケールに基づいて空間範囲を新たに設定する際の動作手順を定めたフローチャートである。
【発明を実施するための形態】
【００５２】
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
【００５３】
［異常行動検出システムの概要］
図１は、本発明の実施の形態に係る異常行動検出システムの構成を示す図である。
【００５４】
図１を参照して、異常行動検出システム３０１は、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃと、画像解析装置１０１と、警報装置１６１とを備える。
【００５５】
以下、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃの各々を、撮影装置１５１と称する場合がある。図１では、３つの撮影装置１５１を代表的に示しているが、さらに多数または少数の撮影装置１５１が設けられてもよい。
【００５６】
異常行動検出システム３０１は、たとえば、異常者検知、犯罪捜査、人物の見守り、スーパーマーケットおよびコンビニエンスストア等の商業施設でのマーケティングの利用、ならびに、従業員の管理および工場の安全管理などに用いられる。
【００５７】
より詳細には、撮影装置１５１は、たとえば、街路、工場、銀行および郵便局等の保安上重要な場所、並びにスーパーマーケットおよびコンビニエンスストア等の商業施設に設置される。
【００５８】
撮影装置１５１は、たとえば、異なるタイミングで人および物等の被写体を撮像することにより複数の画像を生成する。より詳細には、撮影装置１５１は、たとえば、撮像周期Ｔ毎に被写体を撮像することにより複数の画像すなわち動画像を生成する。撮影装置１５１は、たとえば、生成した動画像を画像解析装置１０１へネットワーク１１経由で送信する。
【００５９】
画像解析装置１０１は、たとえば、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃから動画像を受信すると、受信した動画像に基づいて被写体の動きを解析する。
【００６０】
より詳細には、画像解析装置１０１は、たとえば、受信した動画像を構成する各画像に含まれる特徴点である時空間特徴点を検出する。画像解析装置１０１は、時空間特徴点に基づいて、被写体のうち対象とする人物および物体等の対象物の動きを検出する。
【００６１】
たとえば、画像解析装置１０１は、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃが保安上重要な場所に設置されている場合、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃから受信した動画像をリアルタイムで解析することにより、不審な行動をしている人物等を迅速に検出することができる。
【００６２】
また、たとえば、画像解析装置１０１は、商業施設における消費者の動きを検出する場合等のリアルタイム性が必要とされない場合、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃから受信した動画像を一旦録画しておき、録画した動画像を詳細に解析する。これにより、画像解析装置１０１は、リアルタイムで解析する場合と比べて消費者の行動を緻密に解析することができる。
【００６３】
画像解析装置１０１は、たとえば、不審な行動をしている人物を検出すると、警報情報を警報装置１６１へネットワーク１２経由で送信する。
【００６４】
警報装置１６１は、たとえば、画像解析装置１０１から警報情報を受信すると、異常通知に用いるＬＥＤ（Light Emission Diode）を発光させたり、警報音を発生させたりすることにより、管理者または保安員に異常を通知する。
【００６５】
［構成および基本動作］
図２は、本発明の実施の形態に係る画像解析装置の構成を示す図である。
【００６６】
図２を参照して、画像解析装置１０１は、画像取得部２１と、フィルタ処理部２２と、空間範囲設定部２３と、特徴点検出部２４と、スケール演算部２５と、対象物検出部２６と、訓練行動情報記憶部２７と、解析情報出力部２８とを備える。フィルタ処理部２２は、フィルタ処理制御部（画像変化検出部および画像平滑化部）３１と、空間領域フィルタ処理部（画像平滑化部）３２と、バッファ３３と、時間領域フィルタ処理部（画像変化検出部）３４とを含む。
【００６７】
画像解析装置１０１は、異なるタイミングで撮像された複数の画像すなわち動画像を解析する。より詳細には、画像解析装置１０１における画像取得部２１は、たとえば、撮影装置１５１によって所定時間毎に撮影された各画像をネットワーク１１経由で取得する。そして、画像取得部２１は、取得した各画像を取得した順にフィルタ処理部２２へ出力する。なお、画像取得部２１は、動画像を記録する録画装置から動画像を構成する複数の画像を取得してもよい。
【００６８】
フィルタ処理部２２は、たとえば、画像取得部２１から受けた画像をフィルタ処理する。より詳細には、フィルタ処理部２２におけるフィルタ処理制御部３１は、画像取得部２１から画像を受けると、受けた画像に識別子をＩ［ｔｎ］を付与し、当該画像をバッファ３３に蓄積する。ここで、ｔｎは、たとえば、画像の時系列の順番を示すゼロ以上の整数である。
【００６９】
フィルタ処理制御部３１は、たとえば、空間軸方向の１または複数のスケールパラメータであるＮｓ個の標準偏差σｉを設定する。具体的には、フィルタ処理制御部３１は、たとえば、初期値として標準偏差σ０＝１．４および増加率ｋσを設定し、標準偏差σ０および増加率ｋσの積を標準偏差σｉとして設定する。ここで、ｋσの値は、１、２、４、・・・、Ｏｃｔａｖｅσ等のＮｓ個の値である。
【００７０】
また、フィルタ処理制御部３１は、後述するように、たとえば、空間範囲設定部２３によって設定された空間範囲に応じて標準偏差σｉを変更する。また、フィルタ処理制御部３１は、たとえば、空間範囲設定部２３によって設定された空間範囲の大きさに応じて標準偏差σｉを変更する。また、フィルタ処理制御部３１は、たとえば、空間範囲設定部２３によって空間範囲の個数が新たに設定された場合、標準偏差σｉの数を当該個数に変更する。
【００７１】
たとえば、フィルタ処理制御部３１は、１または複数の周波数範囲を設定する。具体的には、フィルタ処理制御部３１は、時間軸方向の１または複数のスケールパラメータであるＮｔ個の時定数τｊを設定する。時定数τｊを設定することにより求められる周波数範囲の詳細については、後述する。
【００７２】
フィルタ処理制御部３１は、たとえば、初期値として時定数τ０および増加率２＾｛（ｋτ−１）／２｝を設定し、時定数τ０および増加率２＾｛（ｋτ−１）／２｝の積を時定数τｊとして設定する。ここで、ｋτの値は、たとえば１、２、４、・・・、Ｏｃｔａｖｅτ等のＮｔ個の値である。また、演算子”＾”はべき乗を表す。
【００７３】
また、フィルタ処理制御部３１は、たとえば、周波数範囲を変更可能である。具体的には、フィルタ処理制御部３１は、たとえば、スケールパラメータであるＮｔ個の時定数τｊの値を変更する。また、フィルタ処理制御部３１は、たとえば、スケールパラメータであるＮｔ個の時定数τｊの数を変更する。なお、フィルタ処理制御部３１は、たとえば、スケールパラメータである時定数τｊの値および個数を同時に変更してもよい。
【００７４】
フィルタ処理制御部３１は、たとえば平滑化処理命令を空間領域フィルタ処理部３２へ出力する。平滑化処理命令には、たとえば、空間軸方向のスケールパラメータであるＮｓ個の標準偏差σｉおよび画像の識別子Ｉ［ｔｎ］が含まれる。ここで、ｉは、０から（Ｎｓ−１）までの整数である。
【００７５】
空間領域フィルタ処理部３２は、フィルタ処理制御部３１から平滑化処理命令を受けると、識別子Ｉ［ｔｎ］に対応する画像をバッファ３３から取得する。空間領域フィルタ処理部３２は、たとえば、取得した画像に対して標準偏差σｉに応じた空間領域のフィルタ処理を行い、平滑化画像を生成する。
【００７６】
空間領域フィルタ処理部３２は、たとえば、生成した平滑化画像に識別子ＳＩ［ｔｎ］［ｉ］を付与し、バッファ３３へ蓄積する。そして、空間領域フィルタ処理部３２は、たとえば識別子ＳＩ［ｔｎ］［ｉ］を含む平滑化処理完了通知をフィルタ処理制御部３１へ出力する。なお、空間領域のフィルタ処理の詳細については後述する。
【００７７】
フィルタ処理制御部３１は、たとえば、平滑化処理完了通知を空間領域フィルタ処理部３２から受けると、変化抽出処理命令を時間領域フィルタ処理部３４へ出力する。変化抽出処理命令には、たとえば、時間軸方向のスケールパラメータであるＮｔ個の時定数τｊおよび平滑化画像の識別子ＳＩ［ｔｎ］［ｉ］が含まれる。ここで、ｊは、０から（Ｎｔ−１）までの整数である。
【００７８】
時間領域フィルタ処理部３４は、フィルタ処理制御部３１から変化抽出処理命令を受けると、識別子ＳＩ［ｔｎ］［ｉ］に対応する平滑化画像をバッファ３３から取得する。時間領域フィルタ処理部３４は、たとえば、取得した平滑化画像に対して時定数τｊに応じた時間領域のフィルタ処理を行い、変化抽出画像を生成する。
【００７９】
時間領域フィルタ処理部３４は、たとえば、生成した変化抽出画像に識別子ＶＩ［ｔｎ］［ｉ］［ｊ］を付与し、バッファ３３へ蓄積する。そして、時間領域フィルタ処理部３４は、たとえば識別子ＶＩ［ｔｎ］［ｉ］［ｊ］を含む変化抽出処理完了通知をフィルタ処理制御部３１へ出力する。なお、時間領域のフィルタ処理の詳細については後述する。
【００８０】
フィルタ処理制御部３１は、たとえば、変化抽出処理完了通知を時間領域フィルタ処理部３４から受けると、Ｎｓ個の標準偏差σｉ、Ｎｔ個の時定数τｊおよび変化抽出画像の識別子ＶＩ［ｔｎ］［ｉ］［ｊ］を含むフィルタ処理完了通知を特徴点検出部２４へ出力する。
【００８１】
また、フィルタ処理制御部３１は、識別子Ｉ［ｔｎ］に対応する画像の次の画像を画像取得部２１から受けると、たとえば、バッファ３３に蓄積された識別子Ｉ［ｔｎ−ｋ］に対応する画像と、当該画像に関連する平滑化画像および変化抽出画像とを破棄することによりバッファ３３を更新する。すなわち、バッファ３３には、直近の（ｋ＋１）枚の画像により構成される連続フレームセットが保持されることになる。なお、ｋの値は、たとえば時定数τｊの最大値に基づいて決定される。
【００８２】
［画像を構成する画素の配置について］
図３は、本発明の実施の形態に係る画像解析装置が処理する画像Ｉ［ｔｎ］に含まれる画素の配置の一例を示す図である。
【００８３】
図３を参照して、図３には、たとえば、縦がＮｒ行、横がＮｃ列のドットマトリクスに配置された画素ＰＥを有する画像Ｉ［ｔｎ］が示される。画像Ｉ［ｔｎ］において、左からｐ個目かつ上からｑ個目の画素は、たとえば画素ＰＥ［ｔｎ］［ｐ−１］［ｑ−１］で表される。
【００８４】
また、画像Ｉ［ｔｎ］の左上隅の画素は、たとえば画素ＰＥ［ｔｎ］［０］［０］で表される。右上隅の画素は、たとえば画素ＰＥ［ｔｎ］［Ｎｃ−１］［０］で表される。左下隅の画素は、たとえば画素ＰＥ［ｔｎ］［０］［Ｎｒ−１］で表される。右下隅の画素は、たとえば画素ＰＥ［ｔｎ］［Ｎｃ−１］［Ｎｒ−１］で表される。
【００８５】
［空間領域のフィルタ処理］
以下、空間領域のフィルタ処理の詳細について説明する。空間領域フィルタ処理部３２は、フィルタ処理制御部３１から平滑化処理命令を受けると、平滑化処理命令に含まれる識別子Ｉ［ｔｎ］に対応する画像をバッファ３３から取得する。以下、識別子Ｉ［ｔｎ］に対応する画像を画像Ｉ［ｔｎ］とも称する。
【００８６】
そして、空間領域フィルタ処理部３２は、バッファ３３から取得した画像Ｉ［ｔｎ］の空間軸方向における変化の速さを抑制した画像である平滑化画像を生成する。
【００８７】
図４は、本発明の実施の形態に係る空間領域フィルタ処理部がフィルタ処理の対象とする各画素の特性量の空間軸方向における変化の一例を示す図である。
【００８８】
図４を参照して、縦軸は、たとえば画素の特性を示す特性量Ｂｒの大きさを示す。たとえば、ｘ軸方向に並べられた画素の特性量Ｂｒの空間軸方向の変化を示す信号ｆｈ［ｘ］は、変化の速さが大きい成分を含む。
【００８９】
たとえば、空間変化の速さが大きい成分が含まれる場合、後述するように、時空間特徴点を誤って検出する確率が高くなる場合がある。この際、たとえばローパスフィルタを用いて信号ｆｈ［ｘ］の変化の速さが大きい成分を減衰させた信号ｆｌ［ｘ］へ変換することにより、時空間特徴点を誤って検出する確率を下げることができる。
【００９０】
空間領域フィルタ処理部３２は、たとえば、以下の式（１）に示す規格化されたガウス関数ｂ（ｘ）の性質を利用することにより、特性量の空間変化の速さを抑制する。
【数１】
2014186497.tif 000003
【００９１】
空間領域フィルタ処理部３２における処理の概要を説明するために、たとえば、以下の式（２）に示すように関数ａ（ｘ）およびガウス関数ｂ（ｘ）のコンボリューション（畳み込み積分）である関数ｇ（ｘ）を考える。
【数２】
2014186497.tif 000004
【００９２】
関数ｇ（ｘ）をフーリエ変換すると、以下の式（３）に示すように関数ａ（ｘ）をフーリエ変換した関数Ａ（ｋ）およびガウス関数ｂ（ｘ）をフーリエ変換した関数Ｂ（ｋ）の積となる。ここで、ｋは、ｘの逆数の次元を有し、波数を表す。
【数３】
2014186497.tif 000005
【００９３】
ガウス関数ｂ（ｘ）をフーリエ変換した関数Ｂ（ｋ）はガウス関数である。より詳細には、関数Ｂ（ｋ）は、ｋがゼロのときに極大値を有し、かつ１／σｉの標準偏差を有するガウス関数である。
【００９４】
また、関数Ｂ（ｋ）の波数領域のスペクトルは、波数ｋがゼロの成分の振幅が最も大きく、波数ｋが大きい成分の振幅が小さくなる。したがって、関数ｇ（ｘ）は、関数ａ（ｘ）に含まれる波数成分のうち、空間範囲に応じた波数以上の波数成分、具体的にはガウス関数Ｂ（ｋ）の標準偏差（１／σｉ）の略２倍以上の波数成分を大きく減衰させた関数である。したがって、σｉの値が変わると、特性量の空間軸方向における変化の速さの抑制度合いが変わる。
【００９５】
たとえば、図４の場合、信号ｆｈ［ｘ］およびガウス関数のコンボリューションを演算することにより、特性量の空間軸方向における変化の速さを抑制した信号ｆｌ［ｘ］を得ることができる。しかしながら、画像Ｉ［ｔｎ］に含まれるすべての画素において、特性量の空間変化を示す関数とガウス関数とのコンボリューションを演算することは、計算の負荷が非常に高い。
【００９６】
そこで、空間領域フィルタ処理部３２は、以下の演算により、簡易な処理で、画像Ｉ［ｔｎ］の空間軸方向における変化の速さを抑制した画像である平滑化画像ＩＩ［ｔｎ］を生成する。
【００９７】
再び図３を参照して、具体的には、空間領域フィルタ処理部３２は、画像Ｉ［ｔｎ］のいずれかの隅に位置する画素、たとえば左上の画素ＰＥ［ｔｎ］［０］［０］を原点画素とする。そして、空間領域フィルタ処理部３２は、たとえば、画素ＰＥ［ｔｎ］［ｐ−１］［ｑ−１］について以下の総和Ｓを演算する。
【００９８】
すなわち、空間領域フィルタ処理部３２は、画素ＰＥ［ｔｎ］［ｐ−１］［ｑ−１］および原点画素を結ぶ線分を対角線とする四角形であって、原点画素を含む画像Ｉ［ｔｎ］の辺の一部または全部を有する四角形に含まれる画素の特性量を足し合わせた総和Ｓを演算する。
【００９９】
具体的には、画素ＰＥ［ｔｎ］［０］［０］、画素ＰＥ［ｔｎ］［ｐ−１］［０］、画素ＰＥ［ｔｎ］［ｐ−１］［ｑ−１］および画素ＰＥ［ｔｎ］［０］［ｑ−１］を隅とする四角形が、画素ＰＥ［ｔｎ］［ｐ−１］［ｑ−１］および原点画素を結ぶ線分を対角線とする四角形に相当する。
【０１００】
空間領域フィルタ処理部３２は、上記四角形に含まれる全ての画素の特性量、具体的には２５６階調の輝度を足し合わせた総和Ｓ［ｐ−１］［ｑ−１］を演算する。
【０１０１】
空間領域フィルタ処理部３２は、ｐの範囲がゼロから（Ｎｃ−１）まで、およびｑの範囲がゼロから（Ｎｒ−１）までの各総和Ｓ［ｐ−１］［ｑ−１］を計算することにより、（Ｎｃ×Ｎｒ）個の総和Ｓを演算する。
【０１０２】
図５は、本発明の実施の形態に係る空間領域フィルタ処理部が生成する積分画像ＩＩ［ｔｎ］の一例を示す図である。
【０１０３】
図５を参照して、空間領域フィルタ処理部３２は、演算により求めた（Ｎｃ×Ｎｒ）個の総和Ｓに基づいて、図３に示す画像Ｉ［ｔｎ］と同じ大きさであって、（Ｎｃ×Ｎｒ）個の画素ＩＰＥを含む積分画像ＩＩ［ｔｎ］を生成する。
【０１０４】
より詳細には、空間領域フィルタ処理部３２は、総和Ｓ［ｐ−１］［ｑ−１］を特性量として有する画素ＩＰＥ［ｔｎ］［ｐ−１］［ｑ−１］を含む積分画像ＩＩ［ｔｎ］を生成する。
【０１０５】
図６は、本発明の実施の形態に係る空間領域フィルタ処理部が用いるボックスフィルタＢＦ［ｉ］の一例を示す図である。
【０１０６】
図６を参照して、空間領域フィルタ処理部３２は、平滑化処理命令に含まれるＮｓ個の標準偏差σｉに対応するボックスフィルタＢＦ［ｉ］を生成する。図６（Ａ）に示すように、ボックスフィルタＢＦ［ｉ］は、たとえば４個のボックスＢ１，Ｂ２，Ｂ３，Ｂ４を用いて標準偏差σｉを有する２次元のガウス関数ｂ（ｘ，ｙ；σｉ）を近似する。
【０１０７】
たとえば、ボックスＢ１の大きさは、図６（Ａ）および（Ｂ）に示すように、Ｌ１×Ｌ１×ｈ１となる。同様に、ボックスＢ２の大きさは、たとえばＬ２×Ｌ２×ｈ２となる。また、ボックスＢ３の大きさは、たとえばＬ３×Ｌ３×ｈ３となる。また、ボックスＢ４の大きさは、たとえばＬ４×Ｌ４×ｈ４となる。
【０１０８】
Ｌ１，Ｌ２，Ｌ３，Ｌ４の単位は、たとえば画素の１辺の長さである。ｈ１，ｈ２，ｈ３，ｈ４の単位は、たとえば画素１個の面積の逆数である。
【０１０９】
なお、Ｌ１，Ｌ２，Ｌ３，Ｌ４およびｈ１，ｈ２，ｈ３，ｈ４は、近似の対象である２次元のガウス関数ｂ（ｘ，ｙ；σｉ）の標準偏差σｉに応じて設定される。この際、規格化条件を満たすため、たとえば、ボックスＢ１，Ｂ２，Ｂ３，Ｂ４の体積の和が１となるように、Ｌ１，Ｌ２，Ｌ３，Ｌ４およびｈ１，ｈ２，ｈ３，ｈ４が決定される。また、ボックスの数は５個以上でもよいし、３個以下でもよい。
【０１１０】
空間領域フィルタ処理部３２は、輝度の空間変化を示す関数と標準偏差σｉを有するガウス関数とのコンボリューションの代わりに、たとえば、ボックスフィルタＢＦ［ｉ］および積分画像ＩＩ［ｔｎ］を用いて当該コンボリューションを近似的に演算する。
【０１１１】
図７は、本発明の実施の形態に係る空間領域フィルタ処理部が生成する平滑化画像ＳＩ［ｔｎ］［ｉ］の一例を示す図である。
【０１１２】
図７を参照して、空間領域フィルタ処理部３２は、図３に示す画像Ｉ［ｔｎ］と同じ大きさであって、（Ｎｃ×Ｎｒ）個の画素ＳＰＥを有する平滑化画像を生成する。この際、空間領域フィルタ処理部３２は、当該平滑化画像に識別子ＳＩ［ｔｎ］［ｉ］を付与する。
【０１１３】
より詳細には、空間領域フィルタ処理部３２は、ボックスフィルタＢＦ［ｉ］および積分画像ＩＩ［ｔｎ］を用いて上記コンボリューションを近似的に演算した値を特性量として有する画素ＳＰＥ［ｔｎ］［ｉ］［ｐ−１］［ｑ−１］、を含む平滑化画像ＳＩ［ｔｎ］［ｉ］を生成する。
【０１１４】
たとえば、空間領域フィルタ処理部３２は、画素ＳＰＥ［ｔｎ］［ｉ］［ｐ−１］［ｑ−１］の特性量を求める場合、以下の処理を行う。すなわち、たとえば、図６に示すボックスフィルタＢＦ［ｉ］のボックスＢ１のＬ１が３であるとき、空間領域フィルタ処理部３２は、図５に示すように、積分画像ＩＩ［ｔｎ］における画素ＩＰＥ［ｔｎ］［ｐ−１］［ｑ−１］を中心とする９個の画素で構成される四角に合わせるようにボックスＢ１を重ねる。
【０１１５】
そして、空間領域フィルタ処理部３２は、画素ＩＰＥ［ｔｎ］［ｐ］［ｑ］の特性量である総和Ｓ［ｐ］［ｑ］および画素ＩＰＥ［ｔｎ］［ｐ−３］［ｑ−３］の特性量である総和Ｓ［ｐ−３］［ｑ−３］の和から、画素ＩＰＥ［ｔｎ］［ｐ］［ｑ−３］の特性量である総和Ｓ［ｐ］［ｑ−３］および画素ＩＰＥ［ｔｎ］［ｐ−３］［ｑ］の特性量である総和Ｓ［ｐ−３］［ｑ］を差し引いた値にｈ１を乗じた値ＢＶ１を演算する。
【０１１６】
この値ＢＶ１は、図３における画像Ｉ［ｔｎ］における画素ＰＥ［ｔｎ］［ｐ−１］［ｑ−１］を中心とする９個の画素の輝度の和にｈ１を乗じた値に相当する。
【０１１７】
すなわち、空間領域フィルタ処理部３２は、ボックスフィルタＢＦ［ｉ］および積分画像ＩＩ［ｔｎ］を用いて４つの総和Ｓの加減算を行う簡易な処理で９個の画素の輝度の積算値である値ＢＶ１を求めることができる。
【０１１８】
一般に、ボックスＢｎの長さがＬｎおよび高さがｈｎであるとき、空間領域フィルタ処理部３２は、積分画像ＩＩ［ｔｎ］における画素ＩＰＥ［ｔｎ］［ｐ−１］［ｑ−１］を中心とする（Ｌｎ×Ｌｎ）個の画素で構成される四角に合わせるようにボックスＢｎを重ねる。
【０１１９】
そして、空間領域フィルタ処理部３２は、画素ＩＰＥ［ｔｎ］［ｐ−１＋（Ｌｎ−１）／２］［ｑ−１＋（Ｌｎ−１）／２］の特性量である総和Ｓ［ｐ−１＋（Ｌｎ−１）／２］［ｑ−１＋（Ｌｎ−１）／２］および画素ＩＰＥ［ｔｎ］［ｐ−１−（Ｌｎ＋１）／２］［ｑ−１−（Ｌｎ＋１）／２］の特性量である総和Ｓ［ｐ−１−（Ｌｎ＋１）／２］［ｑ−１−（Ｌｎ＋１）／２］の和から画素ＩＰＥ［ｔｎ］［ｐ−１＋（Ｌｎ−１）／２］［ｑ−１−（Ｌｎ＋１）／２］の特性量である総和Ｓ［ｐ−１＋（Ｌｎ−１）／２］［ｑ−１−（Ｌｎ＋１）／２］および画素ＩＰＥ［ｔｎ］［ｐ−１−（Ｌｎ＋１）／２］［ｑ−１＋（Ｌｎ−１）／２］の特性量である総和Ｓ［ｐ−１−（Ｌｎ＋１）／２］［ｑ−１＋（Ｌｎ−１）／２］を差し引いた値にｈｎを乗じた値ＢＶｎを演算する。
【０１２０】
空間領域フィルタ処理部３２は、ｎが２から４の場合、すなわちボックスＢ２，Ｂ３，Ｂ４の場合における値ＢＶ２，ＢＶ３，ＢＶ４を演算し、値ＢＶ１，ＢＶ２，ＢＶ３，ＢＶ４の和を図７に示す平滑化画像ＳＩ［ｔｎ］［ｉ］における画素ＳＰＥ［ｔｎ］［ｉ］［ｐ−１］［ｑ−１］の特性量とする。
【０１２１】
空間領域フィルタ処理部３２は、ｐの範囲がゼロから（Ｎｃ−１）まで、およびｑの範囲がゼロから（Ｎｒ−１）までの画素ＳＰＥ［ｔｎ］［ｉ］［ｐ−１］［ｑ−１］の特性量を演算することにより平滑化画像ＳＩ［ｔｎ］［ｉ］を生成する。空間領域フィルタ処理部３２は、生成した平滑化画像ＳＩ［ｔｎ］［ｉ］をバッファ３３へ蓄積する。
【０１２２】
［時間領域のフィルタ処理］
以下、時間領域のフィルタ処理の詳細について説明する。時間領域フィルタ処理部３４は、フィルタ処理制御部３１から変化抽出処理命令を受けると、変化抽出処理命令に含まれる識別子ＳＩ［ｔｎ］［ｉ］に対応する平滑化画像ＳＩ［ｔｎ］［ｉ］、および平滑化画像ＳＩ［ｔｎ］［ｉ］の前後の画像をバッファ３３から取得する。以下、平滑化画像ＳＩ［ｔｎ］［ｉ］を画像ＳＩ［ｔｎ］［ｉ］とも称する。
【０１２３】
そして、時間領域フィルタ処理部３４は、バッファ３３から取得した時系列順に並べられた画像ＳＩ［ｔｎ＋Ｎ］［ｉ］（Ｎ＝−Ｎ１〜＋Ｎ２）に含まれる画素のうち、フィルタ処理制御部３１により設定された周波数範囲に含まれる周波数で特性量が時間変化する画素を抽出した画像である変化抽出画像を生成する。
【０１２４】
図８は、本発明の実施の形態に係る時間領域フィルタ処理部がフィルタ処理の対象とする画素の特性量の時間軸方向における変化の一例を示す図である。
【０１２５】
図８を参照して、縦軸は、画素の特性量Ｂｒの大きさを示す。また、横軸は、時間を示す。
【０１２６】
たとえば、動きのある対象物を撮像した各画像ＳＩ［ｔｎ＋Ｎ］［ｉ］において、時系列順に並べられた画像ＳＩ［ｔｎ＋Ｎ］［ｉ］内における当該対象物の位置が、撮影時刻を示すインデックス（ｔｎ＋Ｎ）と共に変わる状況を想定する。
【０１２７】
たとえば、対象物の一部であって動きが遅い部分を表示する画素の特性量Ｂｒの時間軸方向の変化は、信号ｍｓ［ｔｎ＋Ｎ］により示される。また、たとえば、対象物の一部であって動きが速い部分を表示する画素の特性量Ｂｒの時間軸方向の変化は、信号ｍｆ［ｔｎ＋Ｎ］により示される。この場合、信号ｍｆ［ｔｎ＋Ｎ］の変化の速さは、信号ｍｓ［ｔｎ＋Ｎ］の変化の速さと比べて大きい。
【０１２８】
時間領域フィルタ処理部３４は、たとえば、以下の式（４）に示すガボールフィルタ関数ｇｂ（ｔ）の性質を利用することにより、画素の特性量の時間軸方向の変化を示す信号の周波数成分のうち、フィルタ処理制御部３１により設定された時定数τｊに基づいて求められる周波数範囲外の成分を減衰させることにより時間軸方向における変化を抽出する。
【数４】
2014186497.tif 000006
【０１２９】
ここで、ｉは虚数単位を表す。なお、時定数τｊに加えて固有角周波数ω０ｊを独立に変化させると計算量が増加してしまうので、時間領域フィルタ処理部３４は、たとえば、ω０ｊ／２π＝４／τｊを満たすような固有角周波数ω０ｊを用いる。また、設定された時定数τｊに基づいて求められる周波数範囲は、後述するように時定数τｊおよび固有角周波数ω０ｊにより求められる。
【０１３０】
時間領域フィルタ処理部３４における処理の概要を説明するために、たとえば、以下の式（５）に示すように関数ｍ（ｔ）およびガボールフィルタ関数ｇｂ（ｔ）のコンボリューションである関数ｈ（ｔ）を考える。
【数５】
2014186497.tif 000007
【０１３１】
関数ｈ（ｔ）をフーリエ変換すると、以下の式（６）に示すように関数ｍ（ｔ）をフーリエ変換した関数Ｍ（ω）およびガボールフィルタ関数ｇｂ（ｔ）をフーリエ変換した関数ＧＢ（ω）の積となる。ここで、ωは、ｔの逆数の次元を有し、角周波数を表す。
【数６】
2014186497.tif 000008
【０１３２】
ガボールフィルタ関数ｇｂ（ｔ）をフーリエ変換した関数ＧＢ（ω）は、極大値をω＝ω０ｊに有するガウス関数である。より詳細には、関数ＧＢ（ω）は、角周波数ωがω０ｊのときに極大値を有し、かつ√２／τｊの標準偏差を有するガウス関数である。
【０１３３】
また、関数ＧＢ（ω）の周波数領域のスペクトルは、角周波数ωがω０ｊの成分の振幅が最も大きく、角周波数ωとω０ｊとの差が大きい成分の振幅が小さくなる。したがって、関数ｈ（ｔ）は、関数ｍ（ｔ）に含まれる周波数成分のうち、たとえば、固有角周波数ω０ｊに対して、ガウス関数ＧＢ（ω）の略バンド幅を加えた角周波数以上、および略当該バンド幅を減じた角周波数以下に相当する周波数成分を大きく減衰させた関数である。
【０１３４】
すなわち、時定数τｊおよび固有角周波数ω０ｊにより求められる周波数範囲は、たとえば、固有角周波数ω０ｊにガウス関数ＧＢ（ω）の略バンド幅を加えた角周波数以下、かつ固有角周波数ω０ｊから略当該バンド幅を減じた角周波数以上の範囲に相当する周波数範囲である。
【０１３５】
したがって、図８の場合、信号ｍｆ［ｔｎ＋Ｎ］と信号ｍｆ［ｔｎ＋Ｎ］の変化の速さに近い固有角周波数ω０ｊを有するガボールフィルタ関数とのコンボリューションは、大きな振幅を与える。一方、信号ｍｆ［ｔｎ＋Ｎ］と信号ｍｆ［ｔｎ＋Ｎ］の変化の速さと大きく異なる固有角周波数ω０ｊを有するガボールフィルタ関数とのコンボリューションは、小さな振幅を与える。
【０１３６】
言い換えると、信号ｍｆ［ｔｎ＋Ｎ］と信号ｍｆ［ｔｎ＋Ｎ］の変化の速さに近い固有角周波数ω０ｊを有するガボールフィルタ関数とのコンボリューションは、大きな振幅を与える。この際、固有角周波数ω０ｊが信号ｍｓ［ｔｎ＋Ｎ］の変化の速さと大きく異なる場合、信号ｍｓ［ｔｎ＋Ｎ］と当該ガボールフィルタ関数とのコンボリューションは、小さな振幅を与える。
【０１３７】
また、信号ｍｓ［ｔｎ＋Ｎ］と信号ｍｓ［ｔｎ＋Ｎ］の変化の速さに近い固有角周波数ω０ｊを有するガボールフィルタ関数とのコンボリューションは、大きな振幅を与える。一方、信号ｍｓ［ｔｎ＋Ｎ］と信号ｍｓ［ｔｎ＋Ｎ］の変化の速さと大きく異なる固有角周波数ω０ｊを有するガボールフィルタ関数とのコンボリューションは、小さな振幅を与える。
【０１３８】
言い換えると、信号ｍｓ［ｔｎ＋Ｎ］と信号ｍｓ［ｔｎ＋Ｎ］の変化の速さに近い固有角周波数ω０ｊを有するガボールフィルタ関数とのコンボリューションは、大きな振幅を与える。この際、固有角周波数ω０ｊが信号ｍｆ［ｔｎ＋Ｎ］の変化の速さと大きく異なる場合、信号ｍｆ［ｔｎ＋Ｎ］と当該ガボールフィルタ関数とのコンボリューションは、小さな振幅を与える。
【０１３９】
すなわち、時間領域フィルタ処理部３４は、画素の特性量の時間変化のうち、ガボールフィルタ関数に設定した固有角周波数ω０ｊに近い変化の速さを有する成分を抽出することができる。
【０１４０】
なお、時間領域フィルタ処理部３４は、たとえば、固有角周波数ω０ｊおよび時定数τｊを独立に変化させてもよい。時間領域フィルタ処理部３４は、たとえば、時定数τｊを大きくすることにより、固有角周波数ω０ｊ近傍の周波数を有する信号成分を抽出することが可能である。
【０１４１】
一方、時間領域フィルタ処理部３４は、たとえば、時定数τｊを小さくすることにより、固有角周波数ω０ｊ近傍のみならず、ω０ｊと離れた周波数を有する信号成分を抽出することが可能である。
【０１４２】
図９は、本発明の実施の形態に係る時間領域フィルタ処理部が生成する変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］の一例を示す図である。
【０１４３】
図９を参照して、時間領域フィルタ処理部３４は、図３に示す画像Ｉ［ｔｎ］と同じ大きさであって、（Ｎｃ×Ｎｒ）個の画素ＶＰＥを有する変化抽出画像を生成する。この際、時間領域フィルタ処理部３４は、たとえば、当該変化抽出画像に識別子ＶＩ［ｔｎ］［ｉ］［ｊ］を付与する。
【０１４４】
より詳細には、時間領域フィルタ処理部３４は、以下の式（７）に示す特徴点検出関数Ｒ［ｐ−１］［ｑ−１］を特性量として有する画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］を含む変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］を生成する。
【数７】
2014186497.tif 000009
【０１４５】
すなわち、時間領域フィルタ処理部３４は、時系列順に並べられた画像ＳＩ［ｔｎ＋Ｎ］［ｉ］に含まれる画素ＳＰＥ［ｔｎ＋Ｎ］［ｉ］［ｐ−１］［ｑ−１］および離散的なガボールフィルタ関数ｇｂ［ｔｎ］［ｊ］を用いて求められるコンボリューションの値の二乗を特徴点検出関数Ｒ［ｐ−１］［ｑ−１］として演算する。
【０１４６】
コンボリューションの値の二乗を特徴点検出関数Ｒとすることにより、たとえば式（４）に含まれる位相差φの影響を除外することができる。
【０１４７】
ここで、−∞から＋∞までの総和の範囲は、コンボリューションに用いる画像ＳＩ［ｔｎ＋Ｎ］［ｉ］の枚数により実質的に決定される。したがって、時定数τｊに応じて画像ＳＩ［ｔｎ＋Ｎ］［ｉ］の枚数を適切に設定することにより、精度を維持したまま計算の負荷の増加を抑制することが可能である。
【０１４８】
具体的には、たとえば、時定数τｊの値を大きくする際に、画像ＳＩ［ｔｎ＋Ｎ］［ｉ］の枚数を増やし、また、時定数τｊの値を小さくする際に、画像ＳＩ［ｔｎ＋Ｎ］［ｉ］の枚数を減らすことにより、精度を維持したまま計算の負荷の増加を抑制することが可能である。
【０１４９】
また、離散的なガボールフィルタ関数ｇｂ［ｔｎ］［ｊ］は、たとえば、以下の式（８）で表される。
【数８】
2014186497.tif 000010
【０１５０】
ここで、Ｔは、たとえば、撮影装置１５１が画像を撮像する時間間隔である撮像周期Ｔである。また、ｉは虚数単位を表す。
【０１５１】
時間領域フィルタ処理部３４は、ｐの範囲がゼロから（Ｎｃ−１）まで、およびｑの範囲がゼロから（Ｎｒ−１）までの画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］の特性量である特徴点検出関数Ｒ［ｐ−１］［ｑ−１］を演算することにより、変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］を生成する。時間領域フィルタ処理部３４は、生成した変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］をバッファ３３へ蓄積する。
【０１５２】
［時空間特徴点の検出］
再び図２を参照して、特徴点検出部２４は、フィルタ処理制御部３１から変化抽出処理完了通知を受けると、受けたフィルタ処理完了通知に含まれるＮｓ個の標準偏差σｉ、Ｎｔ個の時定数τｊおよび変化抽出画像の識別子ＶＩ［ｔｎ］［ｉ］［ｊ］を取得する。
【０１５３】
特徴点検出部２４は、識別子ＶＩ［ｔｎ］［ｉ］［ｊ］に対応する（Ｎｓ×Ｎｔ）枚の変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］をバッファ３３から取得し、特徴点検出関数Ｒ［ｐ−１］［ｑ−１］に基づいて、各画像に含まれる時空間特徴点を検出する。
【０１５４】
より詳細には、特徴点検出部２４は、変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］における（Ｎｒ×Ｎｃ）個の画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］のうち、以下の条件を満たす画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］を抽出する。
【０１５５】
すなわち、特徴点検出部２４は、所定のしきい値Ｒｔｈより大きく、かつ隣接する画素の特性量より大きい特性量を有する画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］をＦＡＳＴ９−１６コーナーとして検出する。
【０１５６】
そして、特徴点検出部２４は、ＦＡＳＴ９−１６コーナー近傍の画素ＶＰＥを用いてサブピクセル位置を推定する。サブピクセル位置とは、たとえば、画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］を囲む（３×３）個の画素ＶＰＥが並んでいる場合であって、中心の画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］の特性量が最も大きいときに、当該（３×３）個の画素ＶＰＥの特性量を補間する関数が最大値を有する位置のことである。
【０１５７】
特徴点検出部２４は、推定したサブピクセル位置を変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］における時空間特徴点として検出する。
【０１５８】
特徴点検出部２４は、（Ｎｓ×Ｎｔ）枚の変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］において、各変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］において検出された時空間特徴点の個数とインデックスｉとの関係と、時空間特徴点とを空間範囲設定部２３へ出力する。
【０１５９】
［複数の時定数τｊを用いた時空間特徴点の検出］
図１０は、本発明の実施の形態に係る特徴点検出部が受ける変化抽出画像の生成に用いられた画像Ｉ［ｔｎ］の一例を示す図である。
【０１６０】
図１０を参照して、画像Ｉ［ｔｎ］には、たとえば、固定された撮影装置１５１により撮像された被写体が含まれる。被写体は、たとえば、右方向へ動いている自動車Ｔｃ、右方向へ動いている歩行者Ｔｍおよび静止している家Ｔｈである。
【０１６１】
たとえば、時系列順に並べられた画像Ｉ［ｔｎ＋Ｎ］（Ｎ＝−Ｎ１〜＋Ｎ２）において、自動車Ｔｃが画像Ｉ［ｔｎ＋Ｎ］内を右方向へ動く速度をｖｃとする。また、歩行者Ｔｍの胴体および頭の部分が画像Ｉ［ｔｎ＋Ｎ］内を右方向へ動く速度をｖｂとする。また、歩行者Ｔｍの足の部分が画像Ｉ［ｔｎ＋Ｎ］内を右方向へ動く速度をｖｌとする。また、歩行者Ｔｍの腕の部分が画像Ｉ［ｔｎ＋Ｎ］内を右方向へ動く速度をｖａとする。また、家Ｔｈは静止しているので速度はゼロである。なお、各速度の関係は、たとえば、ｖｃ＞ｖｌ≒ｖａ＞ｖｂとする。
【０１６２】
図１１は、本発明の実施の形態に係る特徴点検出部が時空間特徴点の検出対象とする各変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］の一例を示す図である。
【０１６３】
図１１を参照して、特徴点検出部２４は、たとえば、図１０に示す画像Ｉ［ｔｎ］に基づいて生成された変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］（ｉ＝０，１，２およびｊ＝０，１，２）をフィルタ処理制御部３１から受ける。
【０１６４】
たとえば、歩行者Ｔｍが速度ｖｂで動くことにより、歩行者Ｔｍの胴体および頭を表示する画素の輝度の変化の速さが、時定数τ０に対応する固有角周波数ω００とマッチングするとき、変化抽出画像ＶＩにおける歩行者Ｔｍの胴体および頭を表示する画素の特性量、すなわち特徴点検出関数Ｒの値が大きくなる。
【０１６５】
したがって、変化抽出画像ＶＩ［ｔｎ］［０］［０］、変化抽出画像ＶＩ［ｔｎ］［１］［０］および変化抽出画像ＶＩ［ｔｎ］［２］［０］は、図１１に示すように、歩行者Ｔｍの胴体および頭の部分が明るくなり、歩行者Ｔｍの胴体および頭以外の部分が暗くなる。
【０１６６】
これにより、特徴点検出部２４は、変化抽出画像ＶＩ［ｔｎ］［０］［０］、変化抽出画像ＶＩ［ｔｎ］［１］［０］および変化抽出画像ＶＩ［ｔｎ］［２］［０］に基づいて、歩行者Ｔｍの胴体および頭の部分を時空間特徴点として正確に検出することができる。
【０１６７】
また、たとえば、歩行者Ｔｍが、速度ｖｌおよび速度ｖａで、足および腕をそれぞれ動かすことにより、歩行者Ｔｍの足および腕を表示する画素の輝度の時間変化が、時定数τ１に対応する固有角周波数ω０１とマッチングするとき、変化抽出画像ＶＩにおける歩行者Ｔｍの足および腕を表示する画素の特性量が大きくなる。
【０１６８】
したがって、変化抽出画像ＶＩ［ｔｎ］［０］［１］、変化抽出画像ＶＩ［ｔｎ］［１］［１］および変化抽出画像ＶＩ［ｔｎ］［２］［１］は、図１１に示すように、歩行者Ｔｍの足および腕の部分が明るくなり、歩行者Ｔｍの足および腕以外の部分が暗くなる。
【０１６９】
これにより、特徴点検出部２４は、変化抽出画像ＶＩ［ｔｎ］［０］［１］、変化抽出画像ＶＩ［ｔｎ］［１］［１］および変化抽出画像ＶＩ［ｔｎ］［２］［１］に基づいて、歩行者Ｔｍの足および腕の部分を時空間特徴点として正確に検出することができる。
【０１７０】
また、たとえば、自動車Ｔｃが、速度ｖｃで動くことにより、自動車Ｔｃを表示する画素の輝度の時間変化が、時定数τ２に対応する固有角周波数ω０２とマッチングするとき、変化抽出画像ＶＩにおける自動車Ｔｃを表示する画素の特性量が大きくなる。
【０１７１】
したがって、変化抽出画像ＶＩ［ｔｎ］［０］［２］、変化抽出画像ＶＩ［ｔｎ］［１］［２］および変化抽出画像ＶＩ［ｔｎ］［２］［２］は、図１１に示すように、自動車Ｔｃの部分が明るくなり、自動車Ｔｃ以外の部分が暗くなる。
【０１７２】
これにより、特徴点検出部２４は、変化抽出画像ＶＩ［ｔｎ］［０］［２］、変化抽出画像ＶＩ［ｔｎ］［１］［２］および変化抽出画像ＶＩ［ｔｎ］［２］［２］に基づいて、自動車Ｔｃの部分を時空間特徴点として正確に検出することができる。
【０１７３】
なお、家Ｔｈは静止しているため、家Ｔｈを表示する画素の輝度の時間変化はほとんどない。したがって、変化抽出画像ＶＩにおいて家Ｔｈを表示する画素の特性量は小さく、いずれの変化抽出画像ＶＩにおいても家Ｔｈの部分が明るくなることはない。
【０１７４】
たとえば、複数の時定数τ０，τ１，τ２が設定されておらず、特徴点検出部２４が時定数τ１と時定数τ１に対応する固有角周波数ω０１とを用いて生成された変化抽出画像Ｖ［ｔｎ］［ｉ］［１］に基づいて特徴点の検出を行う場合、特徴点検出部２４は、歩行者Ｔｍの胴体および頭の部分と自動車Ｔｃの部分とを時空間特徴点として正確に検出することができない場合がある。
【０１７５】
すなわち、複数の異なる時定数τｊと時定数τｊに対応する固有角周波数ω０ｊとを用いて生成された変化抽出画像に基づいて時空間特徴点を検出することにより、動画像の中に変化の速さが異なる対象物がある場合においても、当該対象物に関連する時空間特徴点を正確に検出する確率を高めることができる。
【０１７６】
これにより、画像解析装置１０１は、時空間特徴点の検出漏れを起こしてしまう確率を下げることができる。
【０１７７】
［複数の標準偏差σｉを用いた時空間特徴点の検出］
たとえば、図１０のように、歩行者Ｔｍが細かい模様の服を着ている場合、すなわち対象物がテクスチャを有する場合を想定する。歩行者Ｔｍが、たとえば体をひねりながら歩くと、歩行者の胴体および頭の部分が速度ｖｂで動いているにも関わらず、服の模様が速度ｖｌで動く場合が起こり得る。
【０１７８】
上記の場合、たとえば、図１１に示す変化抽出画像ＶＩ［ｔｎ］［０］［０］、変化抽出画像ＶＩ［ｔｎ］［１］［０］および変化抽出画像ＶＩ［ｔｎ］［２］［０］のような時定数τ０の場合、歩行者Ｔｍが着ている服の模様の部分が暗くなり、この部分がノイズの原因となり得るので好ましくない。
【０１７９】
また、たとえば、図１１に示す変化抽出画像ＶＩ［ｔｎ］［０］［１］、変化抽出画像ＶＩ［ｔｎ］［１］［１］および変化抽出画像ＶＩ［ｔｎ］［２］［１］のような時定数τ１の場合、歩行者Ｔｍが着ている服の模様の部分が明るくなり、この部分がノイズの原因となり得るので好ましくない。
【０１８０】
たとえば、標準偏差σがσ０、σ１およびσ２の順に大きくなるとき、σ０、σ１およびσ２の順に、画像Ｉ［ｔｎ］における各画素ＰＥの輝度の空間軸方向における変化の速さの抑制度合いが大きくなる。すなわち、σ０、σ１およびσ２の順に、歩行者Ｔｍが着ている服の模様の平滑化の度合いが大きくなる。
【０１８１】
したがって、複数の標準偏差σｉ（ｉ＝０，１，２）が設定されることにより、変化抽出画像ＶＩ［ｔｎ］［０］［０］、変化抽出画像ＶＩ［ｔｎ］［１］［０］および変化抽出画像ＶＩ［ｔｎ］［２］［０］の順に、歩行者Ｔｍが着ている服の模様の部分が暗くなる程度を抑制することができる。
【０１８２】
また、平滑化の度合いが大きくなりすぎると、たとえば、歩行者Ｔｍの胴体および頭の部分の輪郭がはっきりしなくなるので、好ましくない。
【０１８３】
たとえば、複数の標準偏差σｉ（ｉ＝０，１，２）が設定されておらず、特徴点検出部２４が標準偏差σ０を用いた変化抽出画像ＶＩ［ｔｎ］［０］［０］のみに基づいて時空間特徴点を検出する場合、ノイズの影響により、特徴点検出部２４が時空間特徴点を誤って検出する確率が高くなってしまう。
【０１８４】
これに対して、複数の異なる標準偏差σｉを用いることにより、対象物にテクスチャがある場合においても、当該テクスチャに起因するノイズの影響が抑制され、かつ対象物の輪郭がはっきりした変化抽出画像が生成される確率を高めることができる。これにより、特徴点検出部２４において、時空間特徴点が正確に検出される確率を高めることができる。
【０１８５】
また、複数の標準偏差σｉ（ｉ＝０，１，２）が設定されることにより、変化抽出画像ＶＩ［ｔｎ］［０］［１］、変化抽出画像ＶＩ［ｔｎ］［１］［１］および変化抽出画像ＶＩ［ｔｎ］［２］［１］の順に、歩行者Ｔｍが着ている服の模様の部分が明るくなる程度を抑制することができる。
【０１８６】
また、平滑化の度合いが大きくなりすぎると、たとえば、歩行者Ｔｍの腕および脚の部分の輪郭がはっきりしなくなるので、好ましくない。
【０１８７】
たとえば、複数の標準偏差σｉ（ｉ＝０，１，２）が設定されておらず、特徴点検出部２４が標準偏差σ０を用いた変化抽出画像ＶＩ［ｔｎ］［０］［１］のみに基づいて時空間特徴点を検出する場合、ノイズの影響が大きいため、特徴点検出部２４が時空間特徴点を誤って検出する確率が高くなってしまう。
【０１８８】
これに対して、複数の異なる標準偏差σｉを用いることにより、対象物にテクスチャがある場合においても、当該テクスチャに起因するノイズの影響が抑制され、かつ対象物の輪郭がはっきりした変化抽出画像が生成される確率を高めることができる。これにより、特徴点検出部２４において、時空間特徴点が正確に検出される確率を高めることができる。
【０１８９】
［キューボイドの生成］
空間範囲設定部２３は、画像Ｉ［ｔｎ］または平滑化画像ＳＩ［ｔｎ］［ｉ］において、対象物の検出に用いる１または複数の空間範囲を設定する。また、空間範囲設定部２３は、たとえば、空間範囲を変更可能である。後述するように、空間範囲設定部２３は、たとえば、検出された時空間特徴点の個数および検出された対象物のスケールの少なくとも一方に基づいて空間範囲を変更する。なお、空間範囲設定部２３は、たとえば、空間範囲の位置、大きさおよび個数を同時に変更してもよい。また、空間範囲設定部２３は、たとえば、画像の全部を空間範囲に設定してもよい。
【０１９０】
空間範囲設定部２３は、たとえば、初期値として、フィルタ処理制御部３１が初期設定した空間軸方向のスケールパラメータである標準偏差σｉに応じた空間範囲を設定する。空間範囲設定部２３は、設定した空間範囲を特徴点検出部２４へ出力する。
【０１９１】
特徴点検出部２４は、空間範囲設定部２３から受けた空間範囲に基づいてキューボイドを生成する。より詳細には、特徴点検出部２４は、たとえば、（Ｎｓ×Ｎｔ）枚の各変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］において、検出された時空間特徴点のうち最も大きな値を有する時空間特徴点を選択する。
【０１９２】
また、たとえば、人物の足および胴体の部分、または複数の異なる人物等が撮像された場合等において、各変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］における複数の離れた領域に時空間特徴点が検出される場合、特徴点検出部２４は、画像面を所定領域に分けて、当該所定領域ごとに最も大きな値を有する時空間特徴点を選択する。
【０１９３】
特徴点検出部２４は、たとえば、変化抽出画像ＶＩ［ｔｎ］［ｉ０］［ｊ０］に基づいてキューボイドを生成する場合、変化抽出画像ＶＩ［ｔｎ］［ｉ０］［ｊ０］を生成する際のコンボリューションに用いた複数の平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ０］をバッファ３３から取得する。すなわち、特徴点検出部２４は、時定数τｊに応じた枚数の平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ０］をバッファ３３から取得する。
【０１９４】
そして、特徴点検出部２４は、たとえば、標準偏差σｉ０に応じた空間範囲の中心と、変化抽出画像ＶＩ［ｔｎ］［ｉ０］［ｊ０］において最も大きな値を有する時空間特徴点とが合致するように空間範囲を移動させたときの移動後の空間範囲に含まれる領域を決定する。
【０１９５】
特徴点検出部２４は、たとえば、複数の平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ０］から、当該領域に相当する領域の画像を切り出し、切り出した各画像を時系列順に並べることによりキューボイドを生成する。
【０１９６】
また、特徴点検出部２４は、たとえば、複数の平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ０］から、空間範囲に相当する領域の画像を切り出し、切り出した各画像を時系列順に並べることによりキューボイドを生成してもよい。
【０１９７】
特徴点検出部２４は、（Ｎｓ×Ｎｔ）枚の各変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］に基づいて、複数の平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ］から切り出した各キューボイドを対象物検出部２６へ出力する。
【０１９８】
なお、特徴点検出部２４は、キューボイドを生成する際に、複数の平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ０］からでなく、たとえば、フィルタ処理を行っていない複数の画像Ｉ［ｔｎ＋Ｎ］から画像を切り出してもよい。
【０１９９】
また、キューボイドに含まれる画像枚数は時定数τｊに応じた枚数となるので、当該画像枚数に基づいて当該キューボイドに含まれる対象物の動きの速さを判断してもよい。具体的には、キューボイドに含まれる画像枚数が多いとき、時定数τｊが大きいので、当該キューボイドに含まれる対象物の動きの速さが小さいと判断する。また、キューボイドに含まれる画像枚数が少ないとき、時定数τｊが小さいので、当該キューボイドに含まれる対象物の動きの速さが大きいと判断する。
【０２００】
［対象物の検出］
訓練行動情報記憶部２７は、たとえば、コードブック（codebook）および参照用ＢｏＦ（bag of feature）表現を訓練行動のデータとして記憶する。コードブックには、たとえば人物の足、腕および胴体、または物体の全部もしくは一部である対象物の動きを含むキューボイドに基づいて作成された代表的な記述子、すなわち参照用記述子のセットが含まれる。たとえば、人物の足、腕および胴体、または物体の全部もしくは一部の各動きが、それぞれコードブックにおける各参照用記述子に対応する。
【０２０１】
参照用ＢｏＦ表現は、コードブックにおける各参照用記述子の重ね合わせにより人物および物体等の動きを表現したものである。たとえば、対象物として人物が歩いているときの参照用ＢｏＦ表現は、足、腕および胴体それぞれに対応する各参照用記述子に適当な重みを付けて重ね合わせたものである。
【０２０２】
対象物検出部２６は、特徴点検出部２４からキューボイドを受けると、受けたキューボイドに基づいて記述子を生成する。また、対象物検出部２６は、訓練行動情報記憶部２７からコードブックおよび参照用ＢｏＦ表現を取得する。そして、対象物検出部２６は、生成した記述子およびコードブックに基づいて、キューボイドに含まれる対象物の動きを表すＢｏＦ表現を生成する。
【０２０３】
対象物検出部２６は、生成したＢｏＦ表現と参照用ＢｏＦ表現とを比較することにより、対象物の動きを検出する。この際、対象物検出部２６は、たとえば、検出した対象物の動きおよび時空間特徴点に基づいて対象物の輪郭を推定する。具体的には、対象物検出部２６は、たとえば、人物の体全体の動きを検出すると、体全体の輪郭を推定する。また、対象物検出部２６は、たとえば、足全体の動きを検出すると、足全体の輪郭を推定する。
【０２０４】
対象物検出部２６は、検出した対象物の動きを解析情報出力部２８へ出力する。また、対象物検出部２６は、推定した対象物の輪郭をスケール演算部２５へ出力する。
【０２０５】
解析情報出力部２８は、たとえば、対象物検出部２６から対象物の動きを受けると、受けた対象物の動きが異常な動きか否かについて判断する。そして、解析情報出力部２８は、たとえば、対象物の動きが異常であると判断する場合、警報情報をネットワーク１２経由で警報装置１６１へ送信する。
【０２０６】
［複数の空間範囲を用いた対象物の検出］
図１２は、本発明の実施の形態に係る特徴点検出部が受ける変化抽出画像の生成に用いられた画像Ｉ［ｔｎ］および空間範囲の一例を示す図である。
【０２０７】
図１２（Ａ）を参照して、特徴点検出部２４は、たとえば、図１１に示す変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］をフィルタ処理制御部３１から受け、また、空間範囲設定部２３から図１２（Ａ）に示す空間範囲Ｓ０ａ，Ｓ１ａ，Ｓ２ａを受けている状況を想定する。
【０２０８】
たとえば、特徴点検出部２４は、変化抽出画像ＶＩ［ｔｎ］［ｉ］［０］（ｉ＝０，１，２）に基づいて平滑化画像ＳＩ［ｔｎ＋ｎ］［ｉ］（ｉ＝０，１，２）から画像を切り出すことによりキューボイドを生成する。
【０２０９】
たとえば、複数の空間範囲Ｓ０ａ，Ｓ１ａ，Ｓ２ａが空間範囲設定部２３により設定されておらず、特徴点検出部２４が空間範囲Ｓ０ａのみを用いてキューボイドを生成する場合、図１２（Ａ）に示すように当該キューボイドには歩行者Ｔｍの胴体および頭の部分が全て収まらない。
【０２１０】
同様に、複数の空間範囲Ｓ０ａ，Ｓ１ａ，Ｓ２ａが空間範囲設定部２３により設定されておらず、特徴点検出部２４が空間範囲Ｓ１ａのみを用いてキューボイドを生成する場合においても、図１２（Ａ）に示すように当該キューボイドには歩行者Ｔｍの胴体および頭の部分が全て収まらない。
【０２１１】
一方、たとえば、複数の空間範囲Ｓ０ａ，Ｓ１ａ，Ｓ２ａが設定されていると、特徴点検出部２４は、図１２（Ａ）に示すように空間範囲Ｓ２ａを用いてキューボイドを生成することにより、歩行者Ｔｍの胴体および頭の部分を当該キューボイドに適度な大きさで収めることができる。
【０２１２】
また、たとえば、図１２（Ｂ）を参照して、特徴点検出部２４が、図１１に示す変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］をフィルタ処理制御部３１から受け、また、空間範囲設定部２３から図１２（Ｂ）に示す空間範囲Ｓ０ｂ，Ｓ１ｂ，Ｓ２ｂを受けている状況を想定する。
【０２１３】
たとえば、特徴点検出部２４は、変化抽出画像ＶＩ［ｔｎ］［ｉ］［１］（ｉ＝０，１，２）に基づいて平滑化画像ＳＩ［ｔｎ＋ｎ］［ｉ］（ｉ＝０，１，２）から画像を切り出すことによりキューボイドを生成する。
【０２１４】
たとえば、複数の空間範囲Ｓ０ｂ，Ｓ１ｂ，Ｓ２ｂが空間範囲設定部２３により設定されておらず、特徴点検出部２４が空間範囲Ｓ０ｂのみを用いてキューボイドを生成する場合、図１２（Ｂ）に示すように当該キューボイドには歩行者Ｔｍの片腕の部分が全て収まらない。
【０２１５】
また、たとえば、複数の空間範囲Ｓ０，Ｓ１，Ｓ２が設定されておらず、特徴点検出部２４が空間範囲Ｓ２ｂのみを用いてキューボイドを生成する場合、図１２（Ｂ）に示すように、当該キューボイドには歩行者Ｔｍの片腕の部分が全て収まるものの、当該キューボイドの画像の大きさに対する片腕の部分の大きさが小さくなりすぎる。
【０２１６】
一方、たとえば、複数の空間範囲Ｓ０ｂ，Ｓ１ｂ，Ｓ２ｂが設定されていると、特徴点検出部２４は、図１２（Ｂ）に示すように空間範囲Ｓ１ｂを用いてキューボイドを生成することにより、歩行者Ｔｍの片腕の部分を当該キューボイドに適度な大きさで収めることができる。
【０２１７】
すなわち、複数の異なる空間範囲を用いることにより、キューボイドの画像に対して適度な大きさを有する対象物を含むキューボイドを生成できる確率を高めることができる。これにより、対象物検出部２６において対象物の動きを正確に認識する確率を高めることができる。
【０２１８】
［新たな空間範囲の設定］
空間範囲設定部２３は、たとえば、特徴点検出部２４によって検出された時空間特徴点に基づいて空間範囲を新たに設定する。
【０２１９】
具体的には、空間範囲設定部２３は、たとえば、特徴点検出部２４によって検出された時空間特徴点を含むように１または複数の空間範囲を新たに設定する。
【０２２０】
また、空間範囲設定部２３は、たとえば、複数の空間範囲を設定している場合において、当該複数の空間範囲と特徴点検出部２４により検出された時空間特徴点との関係に基づいて空間範囲を新たに設定する。
【０２２１】
より詳細には、空間範囲設定部２３は、たとえば、各変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］（ｉ＝０〜Ｎｓ−１）において検出された時空間特徴点の個数とインデックスｉとの関係を特徴点検出部２４から受けると、インデックスｉに対応する空間範囲と時空間特徴点の個数との関係に基づいて空間範囲を新たに設定する。
【０２２２】
図１３は、本発明の実施の形態に係る空間範囲設定部が演算する空間範囲と時空間特徴点の個数との関係の一例を示す図である。
【０２２３】
図１３を参照して、たとえば、インデックスｉｍに対応する空間範囲Ｓ［ｉｍ］において最も多くの時空間特徴点の個数が検出された状況を想定する。この状況は、言い換えると、空間範囲Ｓ［ｉｍ］に対応する標準偏差σｉｍを用いた場合において、最も多くの時空間特徴点の個数が検出された状況である。なお、上記時空間特徴点は、たとえば、対象物の検出に有用な時空間特徴点である。
【０２２４】
具体的には、空間範囲設定部２３は、たとえば、インデックス（ｉｍ−１），ｉｍ，（ｉｍ＋１）にそれぞれ対応する空間範囲Ｓ［ｉｍ−１］，Ｓ［ｉｍ］，Ｓ［ｉｍ＋１］に対する時空間特徴点の個数の変化を補間する関数Ｆｓｉｚｅを演算する。
【０２２５】
そして、空間範囲設定部２３は、関数Ｆｓｉｚｅが最大値を示す空間範囲Ｓｐを抽出し、抽出した空間範囲Ｓｐを空間範囲Ｓ［ｉｍ］の代わりに新たに設定する。
【０２２６】
これにより、時空間特徴点を多く検出することが可能な空間範囲を新たに設定することができる。
【０２２７】
また、空間範囲設定部２３は、たとえば、複数の空間範囲を設定している場合において、当該複数の空間範囲と特徴点検出部２４により検出された時空間特徴点との関係に基づいて設定すべき空間範囲の個数を新たに設定する。
【０２２８】
具体的には、たとえば、空間範囲設定部２３は、複数の空間範囲Ｓ［ｉ］（ｉ＝０〜Ｎｓ−１）および各空間範囲Ｓ［ｉ］における時空間特徴点の個数に基づいて空間範囲Ｓ［ｉｍ］の代わりに空間範囲Ｓｐを新たに設定する際に、空間範囲の個数をＮｓ個からＮｓより少ない個数に設定する。たとえば、空間範囲設定部２３は、空間範囲の個数を空間範囲Ｓｐの１個に新たに設定する。
【０２２９】
これにより、時空間特徴点の検出に用いる空間範囲の数を減らすことができるので、時空間特徴点の検出処理の負担を軽減することができる。
【０２３０】
空間範囲設定部２３は、新たに設定した１または複数の空間範囲をフィルタ処理制御部３１および特徴点検出部２４へ出力する。フィルタ処理制御部３１は、空間範囲設定部２３から１または複数の空間範囲を受けると、受けた空間範囲に応じた１または複数の標準偏差σを設定する。
【０２３１】
図１４は、本発明の実施の形態に係るスケール演算部により処理される画像の一例を示す図である。
【０２３２】
図１４を参照して、スケール演算部２５は、対象物検出部２６から対象物Ｔｇｔの輪郭を受けると、対象物Ｔｇｔの画像Ｉ［ｔｎ］に対する比を示すスケールを演算する。そして、スケール演算部２５は、演算したスケールを空間範囲設定部２３へ出力する。
【０２３３】
図１５は、本発明の実施の形態に係る訓練行動情報記憶部に保持されるコードブックの生成に用いられたキューボイドの画像の一例を示す図である。
【０２３４】
図１５を参照して、キューボイドＣｂに含まれる画像Ｉｃｂの半分程度の大きさの対象物Ｔｇｔｃｂの動きに基づく参照用記述子が訓練行動情報部２７におけるコードブックに記憶されている状況を想定する。
【０２３５】
空間範囲設定部２３は、たとえば、スケール演算部２５からスケールを受けると、受けたスケールに基づいて空間範囲を新たに設定する。具体的には、たとえば、図１５に示すように、キューボイドＣｂに含まれる画像Ｉｃｂの半分程度の大きさの対象物Ｔｇｔｃｂの動きに基づく参照用記述子が訓練行動情報部２７に記憶されている場合、空間範囲設定部２３は、図１４に示すように受けたスケールの概ね倍の大きさの空間範囲Ｓｓｃを新たに設定する。
【０２３６】
そして、空間範囲設定部２３は、新たに設定した空間範囲Ｓｓｃをフィルタ処理制御部３１および特徴点検出部２４へ出力する。
【０２３７】
フィルタ処理制御部３１は、たとえば、空間範囲設定部２３から受けた空間範囲Ｓｓｃに応じた標準偏差σｉを設定し、変化抽出画像ＶＩ［ｔｎ＋１］［ｉ］［ｊ］を時間領域フィルタ制御部３４に生成させる。特徴点検出部２４は、変化抽出画像ＶＩ［ｔｎ＋１］［ｉ］［ｊ］をフィルタ処理制御部３１から受けると、空間範囲設定部２３から受けた空間範囲Ｓｓｃに基づいてキューボイドを生成する。
【０２３８】
この際、特徴点検出部２４は、画像の概ね半分程度の大きさの人物が含まれる適切な空間範囲の画像を有するキューボイドを生成することができる。そして、対象物検出部２６における対象物の検出処理に当該キューボイドを用いることにより、対象物の動作の検出精度を向上させることができる。
【０２３９】
また、上記空間範囲が適切でなく、対象物検出部２６によって対象物の動きを正確に検出できなかったときは、空間範囲設定部２３は、たとえば、複数の空間範囲を新たに設定し、フィルタ処理制御部３１および特徴点検出部２４へ出力する。
【０２４０】
［画像解析装置の全体動作］
本発明の実施の形態に係る画像解析装置は、以下の各フローチャートの各ステップを含むプログラムを図示しないメモリから読み出して実行する。このプログラムは、外部からインストールすることができる。このインストールされるプログラムは、たとえば記録媒体に格納された状態で流通する。
【０２４１】
図１６は、本発明の実施の形態に係る画像解析装置が撮影装置から受信した画像を解析する際の動作手順を定めたフローチャートである。
【０２４２】
図１６を参照して、まず、画像取得部２１は、撮影装置１５１から画像を待受け（ステップＳ２でＮＯ）、撮影装置１５１から画像を受信すると、取得した画像をフィルタ処理制御部３１へ出力する（ステップＳ２でＹＥＳ）。
【０２４３】
次に、フィルタ処理制御部３１は、画像取得部２１から受けた画像に識別子を付与し、バッファ３３を更新することにより、連続フレームセットを生成する（ステップＳ４）。
【０２４４】
次に、空間範囲設定部２３は、空間範囲を変更しない場合（ステップＳ６でＮＯ）、未変更の１または複数の空間範囲を連続フレームセットに含まれる各画像Ｉ［ｔｎ］に設定する。空間領域フィルタ処理部３２は、未変更の１または複数の空間範囲に応じた標準偏差σｉを用いて、連続フレームセットに含まれる各画像Ｉ［ｔｎ］から平滑化画像ＳＩ［ｔｎ］［ｉ］を生成する（ステップＳ１０）。
【０２４５】
次に、フィルタ処理制御部３１は、周波数範囲を変更しない場合（ステップＳ１２でＮＯ）、未変更の１または複数の周波数範囲を平滑化画像ＳＩ［ｔｎ］［ｉ］に設定する。時間領域フィルタ処理部３４は、未変更の１または複数の周波数範囲で特性量が時間変化する画素を含む変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］を生成する（ステップＳ１６）。
【０２４６】
次に、特徴点検出部２４は、時間領域フィルタ処理部３４において生成された変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］に基づいて時空間特徴点を検出する（ステップＳ１８）。
【０２４７】
次に、特徴点検出部２４は、検出した時空間特徴点および設定されている空間範囲に基づいてキューボイドを生成する（ステップＳ２０）。
【０２４８】
次に、対象物検出部２６は、特徴点検出部２４において生成されたキューボイドに基づいて対象物の動きを検出し、検出した対象物の動きを解析情報出力部２８へ出力する（ステップＳ２２）。
【０２４９】
次に、解析情報出力部２８は、対象物検出部２６から対象物の動きを受けて、受けた対象物の動きが異常であると判断すると（ステップＳ２４でＹＥＳ）、警報情報を警報装置１６１へ出力する（ステップＳ２６）。
【０２５０】
次に、画像取得部２１は、撮影装置１５１から画像を待受け（ステップＳ２でＮＯ）、撮影装置１５１から画像を受信すると、取得した画像をフィルタ処理制御部３１へ出力する（ステップＳ２でＹＥＳ）。
【０２５１】
一方、空間範囲設定部２３は、空間範囲を変更する場合（ステップＳ６でＹＥＳ）、空間範囲の変更処理を行う（ステップＳ８）。
【０２５２】
次に、空間範囲設定部２３は、変更後の１または複数の空間範囲を連続フレームセットに含まれる各画像Ｉ［ｔｎ］に設定する。空間領域フィルタ処理部３２は、変更後の１または複数の空間範囲に応じた標準偏差σｉを用いて、連続フレームセットに含まれる各画像Ｉ［ｔｎ］から平滑化画像ＳＩ［ｔｎ］［ｉ］を生成する（ステップＳ１０）。
【０２５３】
一方、フィルタ処理制御部３１は、周波数範囲を変更する場合（ステップＳ１２でＹＥＳ）、周波数範囲の変更処理を行う（ステップＳ１４）。
【０２５４】
次に、フィルタ処理制御部３１は、変更後の１または複数の周波数範囲を平滑化画像ＳＩ［ｔｎ］［ｉ］に設定する。時間領域フィルタ処理部３４は、変更後の１または複数の周波数範囲で特性量が時間変化する画素を含む変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］を生成する（ステップＳ１６）。
【０２５５】
一方、解析情報出力部２８は、対象物検出部２６から対象物の動きを受けて、受けた対象物の動きが異常でないと判断すると（ステップＳ２４でＮＯ）、警報情報を警報装置１６１へ出力しない。
【０２５６】
次に、画像取得部２１は、撮影装置１５１から画像を待受け（ステップＳ２でＮＯ）、撮影装置１５１から画像を受信すると、取得した画像をフィルタ処理制御部３１へ出力する（ステップＳ２でＹＥＳ）。
【０２５７】
なお、画像解析装置１０１は、撮影装置１５１から画像を受信する毎に連続フレームセットを生成する構成であるとしたがこれに限定するものではない。画像解析装置１０１は、たとえば、撮影装置１５１から画像を複数枚受信する毎に連続フレームセットを生成することにより、処理負荷を軽減してもよい。
【０２５８】
また、画像解析装置１０１は、空間範囲または周波数範囲を変更する場合、新たに受信した対象画像を含む連続フレームセットに対して変更した空間範囲または周波数範囲を適用する構成であるとしたがこれに限定するものではない。画像解析装置１０１は、たとえば、同じ連続フレームセットに対して変更した空間範囲または周波数範囲を適用してもよい。
【０２５９】
また、空間領域フィルタ処理部３２が、上記ステップＳ１０において、空間領域のフィルタ処理により平滑化画像ＳＩを生成した後、時間領域フィルタ処理部３４が、上記ステップＳ１６において、時間領域のフィルタ処理により変化抽出画像ＶＩを生成したが、時間軸方向と空間軸方向とは独立であるので、空間領域のフィルタ処理および時間領域のフィルタ処理の順序はどちらが先でもよい。
【０２６０】
したがって、時間領域フィルタ処理部３４が時間領域のフィルタ処理を行った後、空間領域フィルタ処理部３２が空間領域のフィルタ処理を行ってもよい。
【０２６１】
また、特徴点検出部２４は、上記ステップＳ１８において、複数のスケールパラメータである、時定数τｊ、標準偏差σｉおよび空間範囲に基づいて時空間特徴点を検出する。そして、空間範囲設定部２３は、検出した時空間特徴点に基づいて対象物の検出に最適な空間範囲を決定する。特徴点検出部２４は、決定された空間範囲に基づいてキューボイドを生成する。
【０２６２】
これにより、最適な画素数を有するキューボイドを生成することができる。また、最適な画素数から対象物の移動および大きさ等の変化にも柔軟に対応でき、フレーム数の変化から行動の速さおよび激しさ等の個人差による違いに対応することができる。
【０２６３】
図１７は、本発明の実施の形態に係る対象物検出部が対象物の動作を検出する処理の詳細な動作手順を定めたフローチャートである。
【０２６４】
図１７を参照して、以下の動作は、画像解析装置１０１の図１６に示すステップＳ２２における動作の一例を詳細に示したものである。
【０２６５】
まず、対象物検出部２６は、特徴点検出部２４からキューボイドを受けると、受けたキューボイドに基づいて記述子を生成する（ステップＳ１０２）。
【０２６６】
次に、対象物検出部２６は、訓練行動情報記憶部２７から取得したコードブックを参照することにより、生成した記述子に基づいてＢｏＦ表現を生成する（ステップＳ１０４）。
【０２６７】
次に、対象物検出部２６は、訓練行動情報記憶部２７から取得した参照用ＢｏＦ表現と生成したＢｏＦ表現とを比較することにより対象物の動きを検出し、検出した対象物の動きを解析情報出力部２８へ出力する（ステップＳ１０６）。
【０２６８】
［空間領域のフィルタ処理の詳細な動作］
図１８は、本発明の実施の形態に係る空間領域フィルタ処理部による空間領域のフィルタ処理の詳細な手順を定めたフローチャートである。
【０２６９】
図１８を参照して、以下の動作は、画像解析装置１０１の図１６に示すステップＳ１０における動作の一例を詳細に示したものである。
【０２７０】
まず、空間領域フィルタ処理部３２は、フィルタ処理制御部３１から平滑化処理命令を受けると、平滑化処理命令に含まれる画像の識別子に基づいてバッファ３３から画像Ｉ［ｔｎ］を取得する（ステップＳ２０２）。
【０２７１】
次に、空間領域フィルタ処理部３２は、バッファ３３から取得した画像Ｉ［ｔｎ］に基づいて積分画像ＩＩ［ｔｎ］を生成する（ステップＳ２０４）。
【０２７２】
次に、空間領域フィルタ処理部３２は、変数ｉをゼロに初期化する（ステップＳ２０６）。
【０２７３】
次に、空間領域フィルタ処理部３２は、変数ｉが平滑化処理命令に含まれる標準偏差σｉの個数であるＮｓより小さい場合（ステップＳ２０８でＹＥＳ）、標準偏差σｉに基づいてボックスフィルタＢＦ［ｉ］を生成し、生成したボックスフィルタＢＦ［ｉ］および積分画像ＩＩ［ｔｎ］に基づいて平滑化画像ＳＩ［ｔｎ］［ｉ］を生成する（ステップＳ２１０）。
【０２７４】
次に、空間領域フィルタ処理部３２は、変数ｉをインクリメントし（ステップＳ２１２）、変数ｉがＮｓ以上になるまで（ステップＳ２０８でＹＥＳ）平滑化画像ＳＩ［ｔｎ］［ｉ］を生成する（ステップＳ２１０）。
【０２７５】
一方、空間領域フィルタ処理部３２は、変数ｉがＮｓ以上になると（ステップＳ２０８でＮＯ）、生成した平滑化画像ＳＩ［ｔｎ］［ｉ］をバッファ３３へ出力する（ステップＳ２１４）。
【０２７６】
［時間領域のフィルタ処理の詳細な動作］
図１９は、本発明の実施の形態に係る時間領域フィルタ処理部による時間領域のフィルタ処理の詳細な手順を定めたフローチャートである。
【０２７７】
図１９を参照して、以下の動作は、画像解析装置１０１の図１６に示すステップＳ１６における動作の一例を詳細に示したものである。
【０２７８】
まず、時間領域フィルタ処理部３４は、変数ｉをゼロに初期化する（ステップＳ３０２）。
【０２７９】
次に、時間領域フィルタ処理部３４は、変数ｉが変化抽出処理命令に含まれる平滑化画像の識別子ＳＩ［ｔｎ］［ｉ］の個数であるＮｓより小さい場合（ステップＳ３０４でＹＥＳ）、変数ｊをゼロに初期化する（ステップＳ３０６）。
【０２８０】
次に、時間領域フィルタ処理部３４は、変数ｊが変化抽出処理命令に含まれる時定数τｊの個数であるＮｔより小さい場合（ステップＳ３０８でＹＥＳ）、平滑化画像ＳＩ［ｔｎ］［ｉ］、および平滑化画像ＳＩ［ｔｎ］［ｉ］の前後の画像をバッファ３３から取得し、取得した平滑化画像ＳＩ［ｔｎ］［ｉ］の各画素ＳＰＥに対してガボールフィルタ関数ｇｂ［ｔｎ］［ｊ］を適用することにより変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］を生成する（ステップＳ３１０）。
【０２８１】
次に、時間領域フィルタ処理部３４は、変化抽出処理完了通知をフィルタ処理制御部３１へ出力する。フィルタ処理制御部３１は、時間領域フィルタ処理部３４から変化抽出処理完了通知を受けると、フィルタ処理完了通知を特徴点検出部２４へ出力する。特徴点検出部２４は、フィルタ処理制御部３１から受けたフィルタ処理完了通知に基づいて時空間特徴点検出処理を行う（ステップＳ３１２）。
【０２８２】
次に、時間領域フィルタ処理部３４は、変数ｊをインクリメントし（ステップＳ３１４）、変数ｊがＮｔ以上になるまで（ステップＳ３０８でＹＥＳ）変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］を生成する（ステップＳ３１０）。
【０２８３】
一方、時間領域フィルタ処理部３４は、変数ｊがＮｔ以上になると（ステップＳ３０８でＮＯ）、変数ｉをインクリメントし（ステップＳ３１６）、変数ｉがＮｓ以上になるまで（ステップＳ３０４でＹＥＳ）引き続き変数ｊをゼロに初期化する（ステップＳ３０６）。
【０２８４】
一方、時間領域フィルタ処理部３４は、変数ｉがＮｓ以上になると（ステップＳ３０４でＮＯ）、変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］の生成処理を終了する。
【０２８５】
［時空間特徴点の検出処理の詳細な動作］
図２０は、本発明の実施の形態に係る特徴点検出部による時空間特徴点の検出処理の詳細な手順を定めたフローチャートである。
【０２８６】
図２０を参照して、以下の動作は、画像解析装置１０１の図１６に示すステップＳ１８における動作の一例を詳細に示したものである。
【０２８７】
まず、特徴点検出部２４は、変数ｐをゼロに初期化する（ステップＳ４０２）。
【０２８８】
次に、特徴点検出部２４は、変数ｐが変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］に含まれる画素の横方向の個数であるＮｃより小さい場合（ステップＳ４０４でＹＥＳ）、変数ｑをゼロに初期化する（ステップＳ４０６）。
【０２８９】
次に、特徴点検出部２４は、変数ｑが変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］に含まれる画素の縦方向の個数であるＮｒより小さい場合（ステップＳ４０８でＹＥＳ）、画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］について以下の処理を行う（ステップＳ４１０）。
【０２９０】
すなわち、特徴点検出部２４は、画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］の特性量であるＲ［ｐ−１］［ｑ−１］が所定のしきい値Ｒｔｈより大きく、かつ、特性量Ｒ［ｐ−１］［ｑ−１］が画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］に隣接するすべての画素の特性量より大きい場合（ステップＳ４１０でＹＥＳ）、画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］をＦＡＳＴ９−１６コーナーとして検出する（ステップＳ４１２）。
【０２９１】
次に、特徴点検出部２４は、画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］と画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］に隣接する画素を用いてサブピクセル位置を推定し、推定した位置を時空間特徴点として追加する（ステップＳ４１４）。
【０２９２】
次に、特徴点検出部２４は、ｑをインクリメントする（ステップＳ４１６）。
【０２９３】
一方、特徴点検出部２４は、画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］の特性量であるＲ［ｐ−１］［ｑ−１］が所定のしきい値Ｒｔｈ以下、または、特性量Ｒ［ｐ−１］［ｑ−１］が画素ＶＰＥ［ｔｎ］［ｉ］［ｊ］［ｐ−１］［ｑ−１］に隣接するいずれかの画素の特性量以下である場合（ステップＳ４１０でＮＯ）、ｑをインクリメントする（ステップＳ４１６）。
【０２９４】
次に、特徴点検出部２４は、変数ｑがＮｒより小さい場合（ステップＳ４０８でＹＥＳ）、ＦＡＳＴ９−１６コーナーの検出処理を継続する（ステップＳ４１０）。
【０２９５】
一方、特徴点検出部２４は、変数ｑがＮｒ以上である場合（ステップＳ４０８でＮＯ）、ｐをインクリメントする（ステップＳ４１８）。
【０２９６】
次に、特徴点検出部２４は、変数ｐがＮｃより小さい場合（ステップＳ４０４でＹＥＳ）、引き続き変数ｑをゼロに初期化する（ステップＳ４０６）。
【０２９７】
一方、特徴点検出部２４は、変数ｐがＮｃ以上である場合（ステップＳ４０４でＮＯ）、時空間特徴点の検出処理を終了する。
【０２９８】
［時空間特徴点の個数に基づく空間範囲の設定動作］
図２１は、本発明の実施の形態に係る画像解析装置が時空間特徴点の個数に基づいて空間範囲を新たに設定する際の動作手順を定めたフローチャートである。
【０２９９】
図２１を参照して、まず、フィルタ処理制御部３１は、撮影装置１５１から画像Ｉ［ｔｎ］を受信する（ステップＳ５０２）。
【０３００】
次に、フィルタ処理制御部３１は、たとえば、複数の空間範囲に対応する標準偏差σｉを含む平滑化処理命令を空間領域フィルタ処理部３２へ出力する。空間領域フィルタ処理部３２は、フィルタ処理制御部３１から受けた標準偏差σｉに対応するボックスフィルタＢＦ［ｉ］を用いて平滑化画像ＳＩ［ｔｎ］［ｉ］を生成する。特徴点検出部２４は、平滑化画像ＳＩ［ｔｎ］［ｉ］に基づいて生成された変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］から時空間特徴点を検出する（ステップＳ５０４）。
【０３０１】
次に、特徴点検出部２４は、各変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］において検出された時空間特徴点の個数とインデックスｉとの関係を演算し、演算した関係を空間範囲設定部２３へ出力する（ステップＳ５０６）。
【０３０２】
次に、空間範囲設定部２３は、特徴点検出部２４から受けた関係に基づいて時空間特徴点が最も多く検出される空間範囲を推定し、推定した空間範囲をフィルタ処理制御部３１および時空間特徴点２４へ出力する。フィルタ処理制御部３１は、撮影装置１５１から画像Ｉ［ｔｎ＋１］を受信すると、当該推定した空間範囲に対応する標準偏差σｓを含む平滑化処理命令を空間領域フィルタ処理部３２へ出力する（ステップＳ５０８）。
【０３０３】
次に、空間領域フィルタ処理部３２は、フィルタ処理制御部３１から受けた標準偏差σｓに基づいて、時空間特徴点が最も多く検出される空間範囲に対応するボックスフィルタＢＦ［ｓ］を決定する（ステップＳ５１０）。
【０３０４】
次に、空間領域フィルタ処理部３２は、決定したボックスフィルタＢＦ［ｓ］を用いて平滑化画像ＳＩ［ｔｎ＋１］［ｓ］を生成する。特徴点検出部２４は、平滑化画像ＳＩ［ｔｎ＋１］［ｓ］に基づいて生成された変化抽出画像ＶＩ［ｔｎ＋１］［ｓ］［ｊ］から時空間特徴点を検出する（ステップＳ５１２）。
【０３０５】
なお、特徴点検出部２４が空間範囲設定部２３から受けた空間範囲に基づいてキューボイドを生成するタイミングは、たとえば、以下のタイミングが考えられる。
【０３０６】
すなわち、たとえば、特徴点検出部２４は、上記ステップＳ５０４において、さらに、空間範囲設定部２３から予め受けていた空間範囲に基づいてキューボイドを生成し、生成したキューボイドを対象物検出部２６へ出力する。
【０３０７】
これにより、特徴点検出部２４において特徴点が検出された場合に、キューボイドが迅速に生成されるので、対象物の動きが検出されるタイミングを早めることができる。
【０３０８】
また、たとえば、特徴点検出部２４は、上記ステップＳ５１２において、さらに、空間範囲設定部２３から上記ステップＳ５０８で受けた空間範囲に基づいてキューボイドを生成し、生成したキューボイドを対象物検出部２６へ出力する。
【０３０９】
これにより、適切な空間範囲のキューボイドが生成されるので、対象物の動きを精度よく検出することができる。
【０３１０】
また、空間範囲設定部２３は、上記ステップＳ５０４において、特徴点検出部２４から受けた関係に基づいて時空間特徴点が最も多く検出される空間範囲を推定し、推定した空間範囲をフィルタ処理制御部３１および時空間特徴点２４へ出力したが、以下の処理を行ってもよい。
【０３１１】
すなわち、対象物の細かい模様等に起因する時空間特徴点は対象物の検出に不適な時空間特徴点であり、空間範囲設定部２３は、たとえば、不適な時空間特徴点が多く検出される空間範囲以外の空間範囲をフィルタ処理制御部３１および時空間特徴点２４へ出力する。
【０３１２】
これにより、不適な時空間特徴点に基づいて対象物を検出する無用な処理を回避することができるので、対象物の検出の効率を改善することができる。
【０３１３】
［対象物のサイズに応じた空間範囲の設定動作］
図２２は、本発明の実施の形態に係る画像解析装置が検出した対象物のスケールに基づいて空間範囲を新たに設定する際の動作手順を定めたフローチャートである。
【０３１４】
図２２を参照して、まず、対象物検出部２６は、特徴点検出部２４によって時空間特徴点に基づいて生成されたキューボイドを用いて、画像Ｉ［ｔｎ］に含まれる対象物、たとえば人物の大きさを推定する（ステップＳ６０２）。
【０３１５】
次に、対象物検出部２６は、推定した人物の大きさをスケール演算部２５へ出力する。スケール演算部２５は、対象物検出部２６から人物の大きさを受けると、受けた人物の大きさと画像Ｉ［ｔｎ］との比率であるスケールを演算し、演算したスケールを空間範囲設定部２３へ出力する（ステップＳ６０４）。
【０３１６】
次に、空間範囲設定部２３は、スケール演算部２５から受けたスケールに基づいて適切な空間範囲を新たに設定し、設定した空間範囲をフィルタ処理制御部３１へ出力する。フィルタ処理制御部３１は、撮影装置１５１から画像Ｉ［ｔｎ＋１］を受信すると、当該空間範囲に対応する標準偏差σｓを含む平滑化処理命令を空間領域フィルタ処理部３２へ出力する（ステップＳ６０６）。
【０３１７】
次に、空間領域フィルタ処理部３２は、フィルタ処理制御部３１から受けた標準偏差σｓに基づいて、対象物の大きさに対して適切な大きさを有する空間範囲に対応するボックスフィルタＢＦ［ｓ］を決定する（ステップＳ６０８）。
【０３１８】
次に、空間領域フィルタ処理部３２は、決定したボックスフィルタＢＦ［ｓ］を用いて平滑化画像ＳＩ［ｔｎ＋１］［ｓ］を生成する。特徴点検出部２４は、平滑化画像ＳＩ［ｔｎ＋１］［ｓ］に基づいて生成された変化抽出画像ＶＩ［ｔｎ＋１］［ｓ］［ｊ］から時空間特徴点を検出する（ステップＳ６１０）。
【０３１９】
ところで、たとえば、動画像中における対象物の動きの速さと時間軸方向の線形フィルタの帯域とのマッチングがよくない場合、対象物の検出に有用な時空間特徴点を検出できなかったり、対象物と離れた部分を時空間特徴点として検出したりするときがある。この場合、時空間特徴点を正確に検出できないので、対象物の動きを正確に検出できない。
【０３２０】
また、時空間特徴点を含む領域の空間範囲の大きさと、動画像における対象物の大きさとのマッチングがよくない場合、キューボイドにおける対象物の大きさが大きすぎたり、小さすぎたりするので、対象物の動きを適切に検出できない場合がある。
【０３２１】
これに対して、本発明の実施の形態に係る画像解析装置では、画像取得部２１は、動画像を取得する。空間範囲設定部２３は、画像取得部２１により取得された動画像に含まれる各画像に対して１または複数の空間範囲を設定する。フィルタ処理制御部３１は、各画像に対して１または複数の周波数範囲を設定する。時間領域フィルタ処理部３４は、各画像に含まれる画素のうち、当該周波数範囲に含まれる周波数で特性量が時間変化する画素を検出する。特徴点検出部２４は、時間領域フィルタ処理部３４により検出された画素の特性量の時間変化に基づいて、各画像における空間範囲に含まれる時空間特徴点を検出する。対象物検出部２６は、空間範囲設定部２３により設定された空間範囲および特徴点検出部２４により検出された時空間特徴点に基づいて対象物の動きを検出する。そして、空間範囲設定部２３が空間範囲を変更可能であるか、フィルタ処理制御部３１が周波数範囲を変更可能であるか、または、空間範囲設定部２３が空間範囲を変更可能であり、かつフィルタ処理制御部３１が周波数範囲を変更可能である。
【０３２２】
このような構成により、周波数範囲および空間範囲の少なくとも一方を変更することができるので、たとえば対象物の大きさおよび対象物の動きの速さに柔軟に対応しながら、時空間特徴点をより正確に検出し、検出した時空間特徴点に基づいて対象物の動きをより正確に検出することができる。
【０３２３】
また、たとえば、空間範囲設定部２３が複数の異なる空間範囲を設定する場合には、動画像中における対象物の大きさと空間範囲とがマッチングする確率を高めることができるので、当該対象物の動きをより正確に検出することができる。また、たとえば、動画像中において、大きさが異なる対象物がある場合においても、当該対象物の動きをより正確に検出することができる。
【０３２４】
また、たとえば、フィルタ処理制御部３１が複数の異なる周波数範囲を設定する場合には、動画像中における対象物の動きの速さに応じた特性量の時間変化と時間領域フィルタ処理部３４が検出可能な時間変化とがマッチングする確率を高めることができるので、当該対象物の検出に有用な時空間特徴点を検出することができる。また、たとえば、動画像中の対象物において、動きの速さが互いに異なる部分がある場合においても、各部分を当該対象物の検出に有用な時空間特徴点として検出することができる。
【０３２５】
これにより、検出した時空間特徴点に基づいて当該対象物の動きをより正確に検出することができる。
【０３２６】
したがって、たとえば、空間範囲設定部２３が複数の異なる空間範囲を設定し、かつフィルタ処理制御部３１が複数の異なる周波数範囲を設定する場合には、複数の異なる変化の速さを有する対象物をより正確に時空間特徴点として検出することができ、検出した時空間特徴点に基づいて複数の異なる大きさの対象物の動きをより正確に検出することができる。
【０３２７】
すなわち、対象物の時間に関するスケールが複数ある場合においても、時空間特徴点をより正確に検出し、検出した時空間特徴点に基づいて対象物の動きをより正確に検出することで、対象物の動きの速さおよび大きさの変化に対してロバストなスケール不変性を得ることができる。
【０３２８】
また、本発明の実施の形態に係る画像解析装置では、動画像に含まれる各画像は、複数の画素を含み、時間領域フィルタ処理部３４は、動画像に含まれる各画像において、画素の特性量の時間軸方向の変化を示す信号の周波数成分のうち、設定した周波数範囲外の成分を減衰させることにより時間軸方向における変化を検出する。
【０３２９】
このように、特性量の時間変化が、設定した周波数範囲に収まる画素を複数の画素の中から抽出する構成により、各画像間の時間軸方向における所望の変化を検出することができる。
【０３３０】
また、本発明の実施の形態に係る画像解析装置では、スケール演算部２５は、対象物検出部２６により検出された対象物の、動画像に含まれる画像に対するスケールを演算する。そして、空間範囲設定部２３は、スケール演算部２５により演算されたスケールに基づいて空間範囲を新たに設定する。
【０３３１】
このような構成により、検出された対象物の大きさと空間範囲とを良好にマッチングさせることができる。
【０３３２】
また、本発明の実施の形態に係る画像解析装置では、空間領域フィルタ処理部３２は、画像取得部２１により取得された動画像に含まれる各画像の空間軸方向における変化の速さを抑制した画像である平滑化画像を複数生成する。フィルタ処理制御部３１は、各平滑化画像に対して１または複数の周波数範囲を設定する。そして、時間領域フィルタ処理部３４は、各平滑化画像に含まれる画素のうち、設定した周波数範囲に含まれる周波数で特性量が時間変化する画素を検出する。
【０３３３】
このように、各画像の空間軸方向における変化の速さを抑制する構成により、時間軸方向の速さの変化のばらつきが拡大することを防ぐことができるので、設定した周波数範囲に含まれる周波数で特性量が時間変化する画素をより正確に検出することができる。
【０３３４】
これにより、対象物の空間に関するスケールが複数ある場合においても、時空間特徴点をより正確に検出し、検出した時空間特徴点に基づいて対象物の動きをより正確に検出することで、対象物の大きさの変化に対してロバストなスケール不変性を得ることができる。
【０３３５】
また、本発明の実施の形態に係る画像解析装置では、フィルタ処理制御部３１は、空間範囲設定部２３により設定される空間範囲に応じて空間軸方向における変化の速さの抑制度合いを変更する。
【０３３６】
このように、各画像の空間軸方向における変化の速さの抑制度合いを空間範囲に応じて適切に変更する構成により、対象物の動きを正確に検出できなかったり、実際の対象物の動きと異なる動きを検出したりする誤検出を減少させることができる。
【０３３７】
また、本発明の実施の形態に係る画像解析装置では、空間範囲設定部２３は、特徴点検出部２４により検出された時空間特徴点に基づいて空間範囲を新たに設定する。
【０３３８】
このような構成により、検出された時空間特徴点に基づいて空間範囲を適切に設定することができるので、たとえば、各画像の空間軸方向における変化の速さの抑制度合いを、設定した空間範囲に応じて変更することにより、時空間特徴点を正確に検出する確率を高めることができる。
【０３３９】
また、本発明の実施の形態に係る画像解析装置では、空間範囲設定部２３は、複数の異なる空間範囲と特徴点検出部２４により検出された時空間特徴点との関係に基づいて空間範囲を新たに設定する。
【０３４０】
このような構成により、上記関係に基づいて空間範囲をより適切に設定することができるので、たとえば、各画像の空間軸方向における変化の速さを、設定した空間範囲に応じた適切な抑制度合いに変更することができる。
【０３４１】
たとえば、対象物の検出に不適な時空間特徴点が多く検出される空間範囲とは異なる空間範囲を新たに設定することにより、対象物の検出の効率を改善することができる。また、たとえば、上記関係に基づいて、対象物の検出に有用な時空間特徴点が多く検出される空間範囲を新たに設定することにより、対象物の検出の効率を改善することができる。
【０３４２】
また、本発明の実施の形態に係る画像解析装置では、空間範囲設定部２３は、複数の異なる空間範囲と特徴点検出部２４により検出された時空間特徴点との関係に基づいて、設定すべき空間範囲の個数を新たに設定する。
【０３４３】
このような構成により、上記関係に基づいて適切な個数の空間範囲を設定することができるので、時空間特徴点を効率よく検出することができる。
【０３４４】
また、本発明の実施の形態に係る画像解析装置では、動画像に含まれる各画像は、複数の画素を含み、空間領域フィルタ処理部３２は、動画像に含まれる各画像において、画素の特性量の空間軸方向の変化を示す信号の波数成分のうち、上記空間範囲に応じた所定の波数以上の成分を減衰させることにより平滑化画像を生成する。
【０３４５】
このような構成により、画素間の特性量の変化を緩慢にし、平滑化画像を適切に生成することができる。
【０３４６】
また、本発明の実施の形態に係る画像解析装置では、空間領域フィルタ処理部３２は、動画像に含まれる画像の隅のいずれかに位置する画素を原点画素とし、当該画像に含まれる画素である対象画素および原点画素を結ぶ線分を対角線とする四角形であって、原点画素を含む画像の辺の一部または全部を有する四角形に含まれる画素の特性量の総和について、各画素を対象画素として総和をそれぞれ演算する。そして、空間領域フィルタ処理部３２は、各画素についての総和を用いて平滑化画像を生成する。
【０３４７】
このような構成により、平滑化画像を生成するために用いる２次元ガウシアンフィルタを簡易な処理で近似することができるので、平滑化画像を生成する際の処理負担を軽減することができる。
【０３４８】
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０３４９】
１１，１２  ネットワーク
２１  画像取得部
２２  フィルタ処理部
２３  空間範囲設定部
２４  特徴点検出部
２５  スケール演算部
２６  対象物検出部
２７  訓練行動情報記憶部
２８  解析情報出力部
３１  フィルタ処理制御部（画像変化検出部および画像平滑化部）
３２  空間領域フィルタ処理部（画像平滑化部）
３３  バッファ
３４  時間領域フィルタ処理部（画像変化検出部）
１０１  画像解析装置
１５１Ａ，１５１Ｂ，１５１Ｃ  撮影装置
１６１  警報装置
【図１】
2014186497.tif 000011
【図２】
2014186497.tif 000012
【図３】
2014186497.tif 000013
【図４】
2014186497.tif 000014
【図５】
2014186497.tif 000015
【図６】
2014186497.tif 000016
【図７】
2014186497.tif 000017
【図８】
2014186497.tif 000018
【図９】
2014186497.tif 000019
【図１０】
2014186497.tif 000020
【図１１】
2014186497.tif 000021
【図１２】
2014186497.tif 000022
【図１３】
2014186497.tif 000023
【図１４】
2014186497.tif 000024
【図１５】
2014186497.tif 000025
【図１６】
2014186497.tif 000026
【図１７】
2014186497.tif 000027
【図１８】
2014186497.tif 000028
【図１９】
2014186497.tif 000029
【図２０】
2014186497.tif 000030
【図２１】
2014186497.tif 000031
【図２２】
2014186497.tif 000032