(57)【要約】【課題】ノイズが移動物体として検出される。【解決手段】移動物体検出装置は、順序が規定された複数のフレームを含む動画を取得する動画取得部と、動画取得部により取得された動画に含まれる複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション部と、動画取得部により取得された複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、プリセグメンテーション部によりセグメント化された複数の領域に対応する行列要素の組ごとにスパース性を誘起してスパース行列を推定する推定部と、複数のフレームにおける、推定部により推定されたスパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力部とを備える。【選択図】図１
2013143102.tif 000002
【特許請求の範囲】
【請求項１】
順序が規定された複数のフレームを含む動画を取得する動画取得部と、
前記動画取得部により取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション部と、
前記動画取得部により取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション部によりセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定部と、
前記複数のフレームにおける、前記推定部により推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力部と
を備える移動物体検出装置。
【請求項２】
前記推定部は、グループＬＡＳＳＯによって、スパース行列を推定する請求項１に記載の移動物体検出装置。
【請求項３】
前記推定部は、ベイズ推定法によって、スパース行列を推定する請求項１に記載の移動物体検出装置。
【請求項４】
前記プリセグメンテーション部は、前記複数のフレーム間で別個にセグメント化を実行する請求項１から３のいずれか１項に記載の移動物体検出装置。
【請求項５】
前記プリセグメンテーション部は、前記複数のフレームにまたがってセグメント化を実行する請求項１から３のいずれか１項に記載の移動物体検出装置。
【請求項６】
順序が規定された複数のフレームを含む動画を取得する動画取得段階と、
前記動画取得段階で取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション段階と、
前記動画取得段階で取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション段階でセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定段階と、
前記複数のフレームにおける、前記推定段階で推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力段階と
を備える移動物体検出方法。
【請求項７】
コンピュータを制御するプログラムであって、前記コンピュータに、
順序が規定された複数のフレームを含む動画を取得する動画取得手順と、
前記動画取得手順で取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション手順と、
前記動画取得手順で取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション手順でセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定手順と、
前記複数のフレームにおける、前記推定手順で推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力手順と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体検出装置、移動物体検出方法およびプログラムに関する。
【背景技術】
【０００２】
複数のフレームを含む動画から移動物体を検出する移動体物体検出装置及びその方法が知られている（例えば、非特許文献１参照）。
［非特許文献１］  Emmanuel J. Candes, Xiaodong Li, Yi Ma, and John Wright、"Robust Principal Component Analysis？"、［on  line］、２００９年１２月１７日、The Computing Research Repository、abs/0912.5399、［２０１１年１２月１２日検索］、インターネット＜ＵＲＬ：http://arxiv.org/corr/home＞
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の移動物体の検出方法では、異なる時間において出没する高周波のノイズ、例えばランダムノイズが移動物体として検出されるという課題がある。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、順序が規定された複数のフレームを含む動画を取得する動画取得部と、前記動画取得部により取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション部と、前記動画取得部により取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション部によりセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定部と、前記複数のフレームにおける、前記推定部により推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力部とを備える移動物体検出装置を提供する。
【０００５】
本発明の第２の態様においては、順序が規定された複数のフレームを含む動画を取得する動画取得段階と、前記動画取得段階で取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション段階と、前記動画取得段階で取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション段階でセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定段階と、前記複数のフレームにおける、前記推定段階推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力段階とを備える移動物体検出方法が提供される。
【０００６】
本発明の第３の態様においては、コンピュータを制御するプログラムであって、前記コンピュータに、順序が規定された複数のフレームを含む動画を取得する動画取得手順と、前記動画取得手順で取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション部と、前記動画取得手順で取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション手順でセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定手順と、前記複数のフレームにおける、前記推定手順で推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力手順とを実行させるプログラムを提供する。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】移動物体検出装置１０の全体構成を示すブロック図である。
【図２】動画取得部１２が取得する動画の一例を説明する図である。
【図３】動画取得部１２が取得した動画ＭＶのデータ形式を説明する図である。
【図４】プリセグメンテーション部１４が生成するセグメントテーブルＳＴを説明する図である。
【図５】動画行列生成部１６が、動画ＭＶのデータから動画行列Ｙを生成する過程を説明する図である。
【図６】推定部１８が推定する低ランク行列を説明する図である。
【図７】推定部１８が推定するスパース行列を説明する図である。
【図８】移動物体検出装置１０による移動物体の検出処理を説明するフローチャートである。
【図９】ステップＳｔ２０のスパース推定処理のフローチャートである。
【図１０】ステップＳｔ２２の出力処理のフローチャートである。
【図１１】出力部２０が出力するバックグラウンドの画像を説明する図である。
【図１２】出力部２０が出力する移動物体ＭＢの画像を説明する図である。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、移動物体検出装置１０の全体構成を示すブロック図である。移動物体検出装置１０は、動画取得部１２と、プリセグメンテーション部１４と、動画行列生成部１６と、推定部１８と、出力部２０と、格納部２２とを備える。移動物体検出装置１０は、撮像部２６及び表示部２８と接続されている。撮像部２６の一例は、それぞれが二次元の画像からなる複数のフレームＦＬを含む動画ＭＶを撮像でき、固定されたビデオカメラ等である。尚、以下、各フレームＦＬが白黒の画像であるとして説明する。
【００１１】
移動物体検出装置１０は、パーソナルコンピュータに組み込まれてもよく、デジタルカメラ等の動画撮影装置に組み込まれてもよい。また移動物体検出装置１０の上記各機能はコンピュータプログラムとしてＣＤ−ＲＯＭ等によりパーソナルコンピュータ等にインストールされてもよいし、インターネット上にアプリケーションサービスプロバイダにより提供されてもよい。
【００１２】
動画取得部１２は、撮像部２６と接続され、情報を入出力する。特に動画取得部１２は、順序Ｔｎ（ｎ＝１、２・・ｑ）が規定された複数のフレームＦＬを含む動画ＭＶを撮像部２６から取得する。動画取得部１２は、取得した動画ＭＶを格納部２２に格納する。
【００１３】
プリセグメンテーション部１４は、動画取得部１２により取得されて、格納部２２に格納された上記動画ＭＶを格納部２２から読み出す。プリセグメンテーション部１４は、動画ＭＶに含まれる複数のフレームＦＬごとに、当該フレームＦＬを別個に複数の領域にセグメント化する。セグメント化の一例として、プリセグメンテーション部１４は、各フレームＦＬに含まれる、座標が連続する画素ＰＸ間で輝度データＸｉ,ｊ（Ｔｎ）の値が予め定められた範囲内となる画素群が作る領域に、各フレームＦＬを分割して、当該領域にセグメントＩＤを付与する。プリセグメンテーション部１４は、セグメントＩＤを画素ＰＸの座標ｉ,ｊ及び順序Ｔｎを対応付けたセグメントテーブルＳＴを格納部２２に格納する。
【００１４】
動画行列生成部１６は、動画取得部１２により取得され、時系列の順序が対応付けられた複数のフレームＦＬ（３−ｍｏｄｅテンソル）を、各フレームの画素を一列に並べることによって動画行列Ｙを生成して、格納部２２に格納する。よって、動画行列Ｙの行列要素Ｙｉ,ｊ（Ｔｎ）は各画素ＰＸの輝度データから生成される。
【００１５】
推定部１８は、ロバストＰＣＡにおける移動物体検出法による下記式（１）に示すように、動画行列生成部１６が生成した動画行列Ｙを、低ランク行列要素Ｌｉ,ｊ（Ｔｎ）とスパース行列要素Ｓｉ,ｊ（Ｔｎ）との和で表す、スパース推定をする。尚、εはノイズである。式においては、添え字ｉ,ｊ（Ｔｎ）を省略する。
Ｙ＝Ｌ＋Ｓ＋ε        （１）
【００１６】
ここで、推定部１８は、上記スパース推定をするにあたり、プリセグメンテーション部１４によりセグメント化された複数の領域に対応する行列要素Ｙｉ,ｊ（Ｔｎ）の組ごとにスパース性を誘起して、スパース行列要素Ｓｉ,ｊ（Ｔｎ）を推定する。この場合に例えば、推定部１８は、ｌ１−正則化された最小化問題を解くことによってスパース行列要素Ｓｉ,ｊ（Ｔｎ）を推定する。スパース推定についてはさらに後述する。
【００１７】
出力部２０は、複数のフレームＦＬにおける、推定部１８により推定されたスパース行列要素Ｓｉ,ｊ（Ｔｎ）において有意な値を有する動画行列Ｙの行列要素Ｙｉ,ｊ（Ｔｎ）に対応する領域を特定する。さらに出力部２０は、当該領域が移動物体ＭＢの画像である旨を出力する。出力部２０は、検出した移動物体を表示部２８に出力する。表示部２８は、液晶表示装置、有機ＥＬ表示装置等を適用できる。
【００１８】
この場合に、出力部２０は、同一のセグメントＩＤの中に含まれる有意な値を有するスパース行列要素Ｓｉ,ｊ（Ｔｎ）の個数を算出する。有意な値とは、スパース行列要素Ｓｉ,ｊ（Ｔｎ）が「０」でない値のことである。尚、有意な値を、スパース行列要素Ｓｉ,ｊ（Ｔｎ）が絶対値が予め定められた値以上としてもよい。出力部２０は、算出した有意な値の個数が、格納部２２に格納されている個数閾値以上か否かを判定する。出力部２０は、有意な値の個数が個数閾値以上と判定すると、当該セグメントＩＤの領域は移動物体ＭＢであると判定する。一方、出力部２０は、個数が個数閾値未満と判定すると、当該セグメントＩＤの領域はノイズまたはバックグラウンドと判定する。
【００１９】
図２は、動画取得部１２が取得する動画の一例を説明する図である。図２に示すように、動画取得部１２が取得する動画ＭＶは、順序Ｔｎが規定された複数のフレームＦＬを含む。各フレームＦＬの縦方向の座標は１からＮまでとし、各フレームＦＬの横方向の座標は１からＭまでとする。図２に示す動画ＭＶでは、ビル、木等の静止物体ＳＢを含むバックグラウンドと、車等の移動物体ＭＢとが撮像されている。
【００２０】
動画ＭＶを取得した段階では、各フレームＦＬの被写体のいずれが移動物体ＭＢか、バックグラウンドに含まれる静止物体ＳＢは未知である。移動物体検出装置１０では、出力部２０が移動物体ＭＢの画像とバックグラウンドの画像とを区別して出力する。
【００２１】
図２において、上述したプリセグメンテーション部１４は、時間順序Ｔ１のフレームＦＬを、例えば、ビルの壁Ｇ００１、木の葉の部分Ｇ０５０、木の幹の部分、車のボディＧ０２１、ランダムノイズＮ０を含む雲Ｇ０１３等にセグメント化する。
【００２２】
図３は、動画取得部１２が取得した動画ＭＶのデータ形式を説明する図である。動画ＭＶのフレームＦＬの各画素ＰＸには、輝度データＸｉ,ｊ（Ｔｎ）が割り当てられている。輝度データＸｉ,ｊ（Ｔｎ）は、画素ＰＸの座標ｉ,ｊ及び順序Ｔｎと関連付けられている。この輝度データＸｉ,ｊ（Ｔｎ）に基づいて、複数のフレームＦＬを含む動画ＭＶが構成され、必要に応じて表示部２８に表示される。
【００２３】
図４は、プリセグメンテーション部１４が生成するセグメントテーブルＳＴを説明する図である。図４に示すように、セグメントテーブルＳＴは、各フレームＦＬにおける画素Ｘｉｊの座標ｉ,ｊと、フレームＦＬの順序Ｔｎとに対応付けられたセグメントＩＤ（Ｇｎ（ｎ＝００１、００２・・））を含む。プリセグメンテーション部１４は、画面上の座標的に連続していて、輝度データＸｉ,ｊ（Ｔｎ）が近い画素群の領域の各には同じセグメントＩＤを付与することによって、セグメント化する。例えば、図４に示すように、プリセグメンテーション部１４は、縦方向に連続する座標（１、１）と座標（２、１）の輝度データＸｉ,ｊ（Ｔｎ）が類似していれば、同じセグメントＩＤ（Ｇ００１）を付与して、横方向に連続する座標（１、１）と座標（１、２）の輝度データＸｉ,ｊ（Ｔｎ）が類似していれば同じセグメントＩＤ（Ｇ００１）を付与する。
【００２４】
プリセグメンテーション部１４は、異なるフレームＦＬにおいては、異なるセグメントＩＤを付与する。従って、プリセグメンテーション部１４は、順序Ｔ１のフレームＦＬのセグメントＩＤがＧ０５０で終了すると、順序Ｔ２のフレームＦＬのセグメントＩＤはＧ０５１以降を使用する。
【００２５】
図５は、動画行列生成部１６が、動画ＭＶのデータから動画行列Ｙを生成する過程を説明する図である。動画行列生成部１６は、動画ＭＶの各フレームＦＬのデータを一つの列ベクトルで表現する。例えば、順序Ｔ１のフレームＦＬでは、動画行列生成部１６は、１列目の最後の輝度データＸｉ,１（Ｔ１）の次に２列目の輝度データＸ１,２（Ｔ１）からＸｉ,２（Ｔ１）を続ける。動画行列生成部１６は、これをｊ列まで繰り返して、順序Ｔ１のフレームＦＬをベクトル化する。更に、動画行列生成部１６は、ベクトル化された各フレームＦＬの輝度データＸｉ,ｊ（Ｔｎ）を順序Ｔｎの順に並べて行列要素Ｙｉ,ｊ（Ｔｎ）として、動画ＭＶの輝度データＸｉ,ｊ（Ｔｎ）から動画行列Ｙを生成する。
【００２６】
図６は、推定部１８によって推定される低ランク行列を説明する図である。図６に示すように、低ランク行列は、動画行列Ｙと同じＮ行Ｍ列の行列である。各行列要素Ｙｉ,ｊは、静止物体ＳＢの画像の各座標ｉ,ｊの輝度データＸｉ,ｊ（Ｔｎ）に対応する。よって、低ランク行列要素Ｌｉ,ｊ（Ｔｎ）に基づいて画像を表示すると、静止物体ＳＢの画像、即ちバックグラウンドの画像が表示される。
【００２７】
図７は、推定部１８によって推定されるスパース行列を説明する図である。スパース行列要素Ｓｉ,ｊ（Ｔｎ）は、動画行列Ｙと同じＮ行Ｍ列の行列である。スパース行列要素Ｓｉ,ｊ（Ｔｎ）の多くは、「０」である。スパース行列要素Ｓｉ,ｊ（Ｔｎ）において、「*」で示す「０」でない行列要素をノンゼロの行列要素と呼ぶ。スパース行列要素Ｓｉ,ｊ（Ｔｎ）において、ノンゼロの行列要素は、移動物体ＭＢの画像の各座標ｉ,ｊの輝度データＸｉ,ｊ（Ｔｎ）に対応する。よって、スパース行列要素Ｓｉ,ｊ（Ｔｎ）に基づいて画像を表示すると、移動物体ＭＢの画像が表示される。
【００２８】
次に、上述した移動物体検出装置１０による移動物体の検出処理について説明する。図８は、移動物体検出装置１０による移動物体の検出処理を説明するフローチャートである。
【００２９】
図８に示すように、動画取得部１２が、複数のフレームＦＬを含む動画ＭＶのデータを撮像部２６から取得して、格納部２２に格納する（Ｓｔ１０）。次に、プリセグメンテーション部１４は、動画ＭＶの各フレームＦＬのデータをセグメント化して、セグメンテーションテーブルＳＴを生成する（Ｓｔ１２）。プリセグメンテーション部１４は、生成したセグメンテーションテーブルＳＴを格納部２２に格納する（Ｓｔ１４）。
【００３０】
次に、動画行列生成部１６は、動画ＭＶから動画行列Ｙを生成する（Ｓｔ１６）。動画行列生成部１６は、生成した動画行列Ｙを格納部２２に格納する（Ｓｔ１８）。
【００３１】
推定部１８は、スパース推定によって、動画行列Ｙの行列要素Ｙｉ,ｊ（Ｔｎ）を低ランク行列要素Ｌｉ,ｊ（Ｔｎ）と、スパース行列要素Ｓｉ,ｊ（Ｔｎ）との和に分解するスパース推定処理を実行する（Ｓｔ２０）。
【００３２】
出力部２２は、スパース行列要素Ｓｉ,ｊ（Ｔｎ）及びセグメンテーションテーブルＳＴに基づいて、移動物体ＭＢとノイズとを区別した後、静止物体ＳＢ及び移動物体ＭＢの画像を出力する出力処理を実行する（Ｓｔ２２）。
【００３３】
図９は、ステップＳｔ２０のスパース推定処理のフローチャートである。スパース推定処理の一例は、式（２）に示すｌ１−正則化における最小化問題をグループＬＡＳＳＯにより解くことによって、低ランク行列要素Ｌｉ,ｊ（Ｔｎ）及びスパース行列要素Ｓｉ,ｊ（Ｔｎ）を得る。
【数１】
2013143102.tif 000003
【００３４】
最小化問題を解く場合、推定部１８は、式（２）のαに特定の値を代入するととともに（Ｓｔ３０）、式（２）のβに特定の値を代入する（Ｓｔ３２）。ここで、α、βは調整パラメータであって、α＞０、β＞０である。α、βを調整することにより、除去するノイズの程度を制御できる。また、α、βを調整することにより、移動物体ＭＢとして捉える物体の単位時間当たりの移動量の閾値を制御できる。
【００３５】
次に、式（２）を解いて、極小値となる低ランク行列要素Ｌｉ,ｊ（Ｔｎ）及びスパース行列要素Ｓｉ,ｊ（Ｔｎ）の推定量を算出する（Ｓｔ３４）。式（２）の解法の一例を示す。
【数２】
2013143102.tif 000004
【００３６】
式（３）及び式（４）を解くことによって、式（２）の低ランク行列要素Ｌｉ,ｊ（Ｔｎ）及びスパース行列要素Ｓｉ,ｊ（Ｔｎ）の最適値が算出される。ここで、ｌ（Ｌ，Ｓ，Ｙ）は上記式（２）の目的関数である。
【００３７】
式（３）は、スパース行列要素Ｓｉ,ｊ（Ｔｎ）を初期値に固定して、評価関数ｌの最小値を算出することにより、そのときの低ランク行列要素Ｌｉ,ｊ（Ｔｎ）を導出する。式（４）は、式（３）で導出された低ランク行列Ｌを固定した状態で、評価関数ｌの最小値を算出することにより、そのときのスパース行列要素Ｓｉ,ｊ（Ｔｎ）を導出する。
【００３８】
さらに、式（４）により算出されたスパース行列要素Ｓｉ,ｊ（Ｔｎ）によって、式（３）を解く。これを繰り返すことによって、Ｌ，Ｓの両方に対して評価関数ｌが極小となるＬ、Ｓ、すなわち、求めたい低ランク行列要素Ｌｉ,ｊ（Ｔｎ）およびスパース行列要素Ｓｉ,ｊ（Ｔｎ）を得る。上記繰り返しの計算は、アルゴリズムａｒｇ１をコンピュータに実行させることにより実行される。
【００３９】
図１０は、ステップＳｔ２２の出力処理のフローチャートである。図１１は、出力部２０が出力する静止物体ＳＢを含むバックグラウンドの画像を説明する図である。図１２は、出力部２０が出力する移動物体ＭＢの画像を説明する図である。
【００４０】
図１０に示すように、出力部２０は、セグメント化された各領域のノンゼロのスパース行列要素Ｓｉ,ｊ（Ｔｎ）の個数が個数閾値以上か否かを判定する（Ｓｔ４０）。出力部２０は、ノンゼロのスパース行列要素Ｓｉ,ｊ（Ｔｎ）の個数が個数閾値以上と判定すると（Ｓｔ４０：Ｙｅｓ）、その領域の画像を移動物体ＭＢとして、格納部２２に格納する（Ｓｔ４２）。一方、出力部２０は、ノンゼロのスパース行列要素Ｓｉ,ｊ（Ｔｎ）の個数が個数閾値以上でないと判定すると（Ｓｔ４０：Ｎｏ）、その領域の画像をノイズとして、格納部２２に格納する（Ｓｔ４４）。
【００４１】
この後、出力部２０は、全ての領域に対してステップＳｔ４０の処理が終了するまでステップＳｔ４０以下を繰り返す。出力部２０は、全ての領域に対してステップＳｔ４０の処理が終了したと判定すると（Ｓｔ４６：Ｙｅｓ）、静止物体ＳＢ及び移動物体ＭＢを別々の画像として出力する。例えば、出力部２０は、図１１に示すように、ビル、木、雲等の静止物体ＳＢであるバックグラウンドの画像を表示部２８に表示する。また、出力部２０は、図１２に示すように、移動物体ＭＢである車の画像を表示部２８に表示する。
【００４２】
上述したように、移動物体検出装置１０は、動画行列Ｙの行列要素Ｙｉ,ｊ（Ｔｎ）をセグメント化して、極めて小さいセグメントとなるノイズと、一定の大きさのセグメントとなる移動物体ＭＢとを区別することができる。これにより、移動物体検出装置１０は、より正確に移動物体ＭＢを検出することができる。例えば、図２の時刻Ｔ１のフレームにおいて雲Ｇ００１３に含まれていたランダムノイズＮ０は、次の時刻Ｔ２には含まれていないので移動物体であるとご認識される恐れがあるが、本実施形態によれば、図１１に示すように、これはノイズであるとして移動物体ＭＢから排除することができる。この結果、暗い環境での撮影時において、ＩＳＯ感度を上げてノイズが多くなった場合でも、移動物体ＭＢを正確に検出することができる。また、（２）は凸問題なので、上記アルゴリズムによって、低ランク行列要素Ｌｉ,ｊ（Ｔｎ）及びスパース行列要素Ｓｉ,ｊ（Ｔｎ）の大域最適値を算出することができる。
【００４３】
次に、上述のステップＳｔ２０のスパース推定処理の他の例について説明する。他の例として、ステップＳｔ２０のスパース推定処理をベイズ推定法によって解く。この場合、まず、一般化行列分解によって、式（５）から式（９）に示す尤度関数及び事前分布を仮定して確率モデルを立てる。この確率モデルに変分ベイズ法を適用すると、式（１０）から式（１７）を得ることができる。これを繰り返すことによって、式（５）から式（９）で示されるモデルにおける、低ランク行列要素Ｌｉ,ｊ（Ｔｎ）及びスパース行列要素Ｓｉ,ｊ（Ｔｎ）のベイズ推定値の近似値を算出することができる。このベイズ推定法の場合、ＣＡ、ＣＢ、ＣＤ、ＣＥも計算の過程で算出することができるので、調整パラメータなしで低ランク行列要素Ｌｉ,ｊ（Ｔｎ）及びスパース行列要素Ｓｉ,ｊ（Ｔｎ）を算出できる。
【数３】
2013143102.tif 000005
【００４４】
また、別の確率モデルとして、次の式（１８）から式（２１）を仮定して、低ランク行列要素Ｌｉ,ｊ（Ｔｎ）及びスパース行列要素Ｓｉ,ｊ（Ｔｎ）を算出してもよい。
【数４】
2013143102.tif 000006
【００４５】
上述の実施形態では、各フレームＦＬが、二次元の画像からなる例を説明したが、ＭＰＥＧ形式等のように、各フレームＦＬが二次元の画像となっていない場合、各フレームＦＬを二次元の画像に変換する。
【００４６】
上述の実施形態では、各フレームＦＬを白黒の画像としたが、ＲＧＢまたはＣＭＹを原色とするカラー画像としてもよい。この場合、元データが式（２２）に示す４−ｍｏｄｅテンソルとなるが、動画行列を生成する場合、式（２３）に示すように３成分の色方向も縦ベクトルに取り込む。この場合、プリセグメンテーション部１４は、同じ座標及び順序の３色成分は同じセグメントＩＤを付与する。
【数５】
2013143102.tif 000007
【数６】
2013143102.tif 000008
【００４７】
上述の実施形態では、プリセグメンテーション部１４が、異なるフレームＦＬに異なるセグメントＩＤを付与する例を説明したが、プリセグメンテーション部１４が、異なるフレームＦＬにおいても、同じ静止物体ＳＢ及び同じ移動物体ＭＢに同じセグメントＩＤを付与してもよい。この場合、プリセグメンテーション部１４は、連続するフレームＦＬの輝度データＸｉ,ｊ（Ｔｎ）に基づいて、同じ静止物体ＳＢ及び同じ移動物体ＭＢを判別する。一例として、プリセグメンテーション部１４は、順序が連続するフレームＦＬとフレームＦＬとの間で輝度データＸｉ,ｊ（Ｔｎ）が閾値（例えば、８０％）以上重複するセグメントの対があったとき、これらを同じ静止物体ＳＢまたは同じ移動物体ＭＢと判定する。
【００４８】
プリセグメンテーションを時刻を含めた３次元で行なっても、同様の推定ができる。この場合に、プリセグメンテーション部１４は、時刻Ｔｎが異なるフレームＦＬ間においても同一の被写体とみなせる場合には同一のセグメントＩＤを付与する。さらに、推定部１８は、上記スパース推定をするにあたり、上記プリセグメンテーションによるセグメントＩＤを用いる。これにより、時刻Ｔｎが異なるフレームＦＬ間にまたがってスパース項のグルーピングをさらに大きくとることができるので、より的確に移動物体を検出することができる。
【００４９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００５０】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００５１】
１０  移動物体検出装置
１２  動画取得部
１４  プリセグメンテーション部
１６  動画行列生成部
１８  推定部
２６  撮像部
２８  表示部
【図１】
2013143102.tif 000009
【図２】
2013143102.tif 000010
【図３】
2013143102.tif 000011
【図４】
2013143102.tif 000012
【図５】
2013143102.tif 000013
【図６】
2013143102.tif 000014
【図７】
2013143102.tif 000015
【図８】
2013143102.tif 000016
【図９】
2013143102.tif 000017
【図１０】
2013143102.tif 000018
【図１１】
2013143102.tif 000019
【図１２】
2013143102.tif 000020