(57)【特許請求の範囲】
【請求項１】
入力画像における画素が示す特徴の時間的な安定状態を示す画素状態を決定する画素状態決定手段と、
長期的な継続性を示す画素状態の画素の特徴、または、前記画素状態とは異なる画素状態の画素であって、過去に生成された背景モデルと前記画素の特徴との類似度を示す特徴距離が予め定められた閾値より小さい画素の特徴を用いて、適応的に背景モデルを生成する背景モデル生成手段と、
生成された背景モデルと入力画像の画素の特徴との類似度を示す特徴距離から物体が存在するか否かを判定する物体判定手段とを備え、
前記画素状態決定手段は、入力画像の画素ごとに、当該画素が示す特徴の短期的な期間における分散を算出し、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出し、算出された割合が予め定められた範囲内の画素を長期的な継続性を示す画素状態と決定し、算出された割合が前記範囲外の画素に対し、算出された当該画素の分散値と分散閾値とを比較して当該画素の画素状態を決定する
ことを特徴とする物体検出装置。
【請求項２】
画素状態決定手段は、割合が第一の閾値以上の場合に長期的な安定状態である継続的な静の状態と判定し、割合が第二の閾値以下の場合に長期的な不安定状態である継続的な動の状態と判定し、割合が第二の閾値より大きく第一の閾値未満の場合であって、画素の分散値が分散値閾値以下の場合に短期的な安定状態である静の状態と判定し、画素の分散値が分散値閾値より大きい場合に短期的な不安定状態である動の状態と判定する
請求項１記載の物体検出装置。
【請求項３】
画素状態決定手段は、割合ＲＳが継続的な静の閾値以上ならば継続的な静、前記割合ＲＳが継続的な動の閾値以下ならば継続的な動と画素状態を決定し、画素状態が継続的な静または継続的な動以外ならば、分散値が安定状態閾値以下の場合には静、前記分散値が前記安定状態閾値より大きい場合には動と画素状態を決定する
請求項１または請求項２記載の物体検出装置。
【請求項４】
背景モデル生成手段は、画素状態が継続的な静の場合には、静的な背景であると判断して、入力画像の画素の特徴を時系列に蓄積する特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成し、前記特徴蓄積手段に記憶されている全ての特徴を背景モデル生成用特徴蓄積手段にコピーし、画素状態が継続的な動の場合には、動的な背景であると判断して、前記特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成し、前記特徴蓄積手段に記憶されている全ての特徴を前記背景モデル生成用特徴蓄積手段にコピーし、
画素状態が静、かつ、入力画像の画素の特徴と前回の背景モデルとの類似度を示す特徴距離が閾値以下で類似度が高い場合には、入力画像の画素の特徴が背景であると判断して前記特徴蓄積手段に記憶されている最新の特徴を前記背景モデル生成用特徴蓄積手段に蓄積し、前記背景モデル生成用特徴蓄積手段に記憶されている特徴から背景モデルを生成し、
上記条件以外の場合には、背景モデルを生成せず前回の背景モデルを利用する
請求項１から請求項３のうちのいずれか１項に記載の物体検出装置。
【請求項５】
背景モデルは、特徴の平均と特徴の分散とで構成されている
請求項１から請求項４のうちのいずれか１項に記載の物体検出装置。
【請求項６】
背景モデルは、特徴の加重平均と特徴の加重分散とで構成され、前記加重平均および前記加重分散における重みは、最新値が最も大きく、過去に向かって小さくなるように設定されている
請求項１から請求項４のうちのいずれか１項に記載の物体検出装置。
【請求項７】
背景モデルは、混合正規分布を仮定した、特徴における複数の平均、複数の分散および複数の重み係数で構成され、
特徴距離を、背景モデルから重み係数が閾値以上の背景モデルを選択し、入力画像から抽出した特徴と、選択された前記背景モデルの複数の平均および複数の分散とから求められる複数の特徴距離に対して、最小値の特徴距離とする
請求項１から請求項４のうちのいずれか１項に記載の物体検出装置。
【請求項８】
特徴は、多次元ベクトルで構成され、
背景モデルは、平均ベクトルと共分散行列の多次元で構成され、
分散値は、特徴蓄積手段に蓄積された特徴の最新値から短期的な過去までの共分散行列における対角成分の和、または、対角成分の最大値である
請求項１から請求項４のうちのいずれか１項に記載の物体検出装置。
【請求項９】
画像を分割して物体の判定を行う物体検出装置であって、
入力画像を分割する画像分割手段と、
分割された画像単位で、当該画像が示す特徴である特徴情報の時間的な安定状態を示す時間的特徴を決定する時間的特徴決定手段と、
長期的な継続性を示す時間的特徴を有する画像単位の特徴情報、または、前記時間的特徴とは異なる時間的特徴を有する画像であって、過去に生成された背景モデルと前記画像の特徴情報との類似度を示す特徴距離が予め定められた閾値より小さい画像単位の特徴情報を用いて、適応的に背景モデルを生成する画像背景モデル生成手段と、
生成された背景モデルと画像単位の特徴情報との類似度に基づいて物体が存在する画像単位を特定する画像単位特定手段とを備え、
前記時間的特徴決定手段は、前記画像単位で、当該画像における特徴情報の短期的な期間における分散を算出し、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出し、算出された割合が予め定められた範囲内の画像を長期的な継続性を示す時間的特徴を有すると決定し、算出された割合が前記範囲外の画像に対し、算出された当該画像の分散値と分散閾値とを比較して当該画像の時間的特徴を決定する
ことを特徴とする物体検出装置。
【請求項１０】
画像単位特定手段は、複数の画像単位の時間的特徴の分析時に、画像単位で得られる特徴情報の時系列から時間的性質が類似である部分の特性を抽出し、前記特性と異なる特徴情報を物体が存在する画像単位とする
請求項９記載の物体検出装置。
【請求項１１】
特徴情報は、画像単位の輝度、または色相、またはＲＧＢの各値、またはエッジ、またはオプティカルフロー値、または距離画像における距離値のうちの１つ以上である
請求項９または請求項１０記載の物体検出装置。
【請求項１２】
画像単位は、画素単位とする
請求項９から請求項１１のうちのいずれか１項に記載の物体検出装置。
【請求項１３】
入力画像における画素が示す特徴の時間的な安定状態を示す画素状態を決定する画素状態決定処理と、
長期的な継続性を示す画素状態の画素の特徴、または、前記画素状態とは異なる画素状態の画素であって、過去に生成された背景モデルと前記画素の特徴との類似度を示す特徴距離が予め定められた閾値より小さい画素の特徴を用いて、適応的に背景モデルを生成する背景モデル生成処理と、
生成された背景モデルと入力画像の画素の特徴との類似度を示す特徴距離から物体が存在するか否かを判定する物体判定処理とを含み、
前記画素状態決定処理で、入力画像の画素ごとに、当該画素が示す特徴の短期的な期間における分散を算出し、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出し、算出された割合が予め定められた範囲内の画素を長期的な継続性を示す画素状態と決定し、算出された割合が前記範囲外の画素に対し、算出された当該画素の分散値と分散閾値とを比較して当該画素の画素状態を決定する
ことを特徴とする物体検出方法。
【請求項１４】
画素状態決定処理で、割合が第一の閾値以上の場合に長期的な安定状態である継続的な静の状態と判定し、割合が第二の閾値以下の場合に長期的な不安定状態である継続的な動の状態と判定し、割合が第二の閾値より大きく第一の閾値未満の場合であって、画素の分散値が分散値閾値以下の場合に短期的な安定状態である静の状態と判定し、画素の分散値が分散値閾値より大きい場合に短期的な不安定状態である動の状態と判定する
請求項１３記載の物体検出方法。
【請求項１５】
画素状態決定処理で、
割合ＲＳが継続的な静の閾値以上ならば画素状態を継続的な静に決定し、
前記割合ＲＳが継続的な動の閾値以下ならば画素状態を継続的な動に決定し、
画素状態が継続的な静、または、継続的な動に決定できない場合には、分散値が安定状態閾値以下ならば画素状態を静に決定し、
前記分散値が前記安定状態閾値より大きいならば画素状態を動と決定する
請求項１３または請求項１４記載の物体検出方法。
【請求項１６】
背景モデル生成処理で、
画素状態が継続的な静の場合には、静的な背景であると判断し、入力画像の画素の特徴を時系列に蓄積する特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成して前記特徴蓄積手段に記憶されている全ての特徴を背景モデル生成用特徴蓄積手段にコピーし、
画素状態が継続的な動の場合には、動的な背景であると判断し、前記特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成して前記特徴蓄積手段に記憶されている全ての特徴を前記背景モデル生成用特徴蓄積手段にコピーし、
画素状態が静、かつ、入力画像の画素の特徴と前回の背景モデルとの類似度を示す特徴距離が閾値以下で類似度が高い場合には、入力画像の画素の特徴が背景であると判断し、前記特徴蓄積手段に記憶されている最新の特徴を前記背景モデル生成用特徴蓄積手段に蓄積して前記背景モデル生成用特徴蓄積手段に記憶されている特徴から背景モデルを生成し、
上記条件以外の場合には、背景モデルを生成せず前回の背景モデルを利用する
請求項１３から請求項１５のうちのいずれか１項に記載の物体検出方法。
【請求項１７】
背景モデルを、特徴の平均と特徴の分散とで構成する
請求項１３から請求項１６のうちのいずれか１項に記載の物体検出方法。
【請求項１８】
背景モデルを、特徴の加重平均と特徴の加重分散とで構成し、前記加重平均および前記加重分散における重みを、最新値が最も大きく、過去に向かって小さくなるように設定する
請求項１３から請求項１６のうちのいずれか１項に記載の物体検出方法。
【請求項１９】
背景モデルを、混合正規分布を仮定した、特徴における複数の平均、複数の分散および複数の重み係数で構成し、
特徴距離を、背景モデルから重み係数が閾値以上の背景モデルを選択し、入力画像から抽出した特徴と、選択された前記背景モデルの複数の平均および複数の分散とから求められる複数の特徴距離に対して、最小値の特徴距離とする
請求項１３から請求項１６のうちのいずれか１項に記載の物体検出方法。
【請求項２０】
特徴を、多次元ベクトルで構成し、
背景モデルを、平均ベクトルと共分散行列の多次元で構成し、
分散値を、特徴蓄積手段に蓄積された特徴の最新値から短期的な過去までの共分散行列における対角成分の和、または、対角成分の最大値とする
請求項１３から請求項１６のうちのいずれか１項に記載の物体検出方法。
【請求項２１】
画像を分割して物体の判定を行う物体検出方法であって、
入力画像を分割する画像分割処理と、
分割された画像単位で、当該画像が示す特徴である特徴情報の時間的な安定状態を示す時間的特徴を決定する時間的特徴決定処理と、
長期的な継続性を示す時間的特徴を有する画像単位の特徴情報、または、前記時間的特徴とは異なる時間的特徴を有する画像であって、過去に生成された背景モデルと前記画像の特徴情報との類似度を示す特徴距離が予め定められた閾値より小さい画像単位の特徴情報を用いて、適応的に背景モデルを生成する画像背景モデル生成処理と、
生成された背景モデルと画像単位の特徴情報との類似度に基づいて物体が存在する画像単位を特定する画像単位特定処理とを含み、
前記時間的特徴決定処理において、前記画像単位で、当該画像における特徴情報の短期的な期間における分散を算出し、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出し、算出された割合が予め定められた範囲内の画像を長期的な継続性を示す時間的特徴を有すると決定し、算出された割合が前記範囲外の画像に対し、算出された当該画像の分散値と分散閾値とを比較して当該画像の時間的特徴を決定する
ことを特徴とする物体検出方法。
【請求項２２】
画像単位特定処理における複数の画像単位の時間的特徴の分析で、画像単位にて得られる特徴情報の時系列から時間的性質が類似である部分の特性を抽出し、前記特性と異なる特徴情報を物体が存在する画像単位とする
請求項２１記載の物体検出方法。
【請求項２３】
画像単位は、画素単位とする
請求項２１または請求項２２記載の物体検出方法。
【請求項２４】
コンピュータに、
入力画像における画素が示す特徴の時間的な安定状態を示す画素状態を決定する画素状態決定処理と、
長期的な継続性を示す画素状態の画素の特徴、または、前記画素状態とは異なる画素状態の画素であって、過去に生成された背景モデルと前記画素の特徴との類似度を示す特徴距離が予め定められた閾値より小さい画素の特徴を用いて、適応的に背景モデルを生成する背景モデル生成処理と、
生成された背景モデルと入力画像の画素の特徴との類似度を示す特徴距離とから物体が存在するか否かを判定する物体判定処理とを実行させ、
前記画素状態決定処理で、入力画像の画素ごとに、当該画素が示す特徴の短期的な期間における分散を算出させ、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出させ、算出された割合が予め定められた範囲内の画素を長期的な継続性を示す画素状態と決定させ、算出された割合が前記範囲外の画素に対し、算出された当該画素の分散値と分散閾値とを比較して当該画素の画素状態を決定させる
ための物体検出プログラム。
【請求項２５】
コンピュータに、
画素状態決定処理で、割合ＲＳが継続的な静の閾値以上ならば画素状態を継続的な静、前記割合ＲＳが継続的な動の閾値以下ならば画素状態を継続的な動、画素状態が継続的な静、または、継続的な動に決定できない場合には、分散値が安定状態閾値以下ならば画素状態を静、前記分散値が前記安定状態閾値より大きいならば画素状態を動と決定する処理を実行させるための
請求項２４記載の物体検出プログラム。
【請求項２６】
コンピュータに、
背景モデル生成処理で、画素状態が継続的な静の場合には、入力画像の画素の特徴を時系列に蓄積する特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成して前記特徴蓄積手段に記憶されている全ての特徴を背景モデル生成用特徴蓄積手段にコピーし、画素状態が継続的な動の場合には、前記特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成して前記特徴蓄積手段に記憶されている全ての特徴を前記背景モデル生成用特徴蓄積手段にコピーし、画素状態が静、かつ、入力画像の画素の特徴と前回の背景モデルとの類似度を示す特徴距離が閾値以下で類似度が高い場合には、前記特徴蓄積手段に記憶されている最新の特徴を前記背景モデル生成用特徴蓄積手段に蓄積して前記背景モデル生成用特徴蓄積手段に記憶されている特徴から背景モデルを生成し、上記条件以外の場合には、背景モデルを生成せず前回の背景モデルを利用する処理を実行させるための
請求項２４または請求項２５記載の物体検出プログラム。
【請求項２７】
画像を分割して物体の判定を行うコンピュータに、
入力画像を分割する画像分割処理と、
分割された画像単位で、当該画像が示す特徴である特徴情報の時間的な安定状態を示す時間的特徴を決定する時間的特徴決定処理と、
長期的な継続性を示す時間的特徴を有する画像単位の特徴情報、または、前記時間的特徴とは異なる時間的特徴を有する画像であって、過去に生成された背景モデルと前記画像の特徴情報との類似度を示す特徴距離が予め定められた閾値より小さい画像単位の特徴情報を用いて、適応的に背景モデルを生成する画像背景モデル生成処理と、
生成された背景モデルと画像単位の特徴情報との類似度に基づいて物体が存在する画像単位を特定する画像単位特定処理とを実行させ、
前記時間的特徴決定処理において、前記画像単位で、当該画像における特徴情報の短期的な期間における分散を算出させ、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出させ、算出された割合が予め定められた範囲内の画像を長期的な継続性を示す時間的特徴を有すると決定させ、算出された割合が前記範囲外の画像に対し、算出された当該画像の分散値と分散閾値とを比較して当該画像の時間的特徴を決定させる
ための物体検出プログラム。
【請求項２８】
コンピュータに、
画像単位特定処理における複数の画像単位の時間的特徴の分析で、画像単位で得られる特徴情報の時系列から時間的性質が類似である部分の特性を抽出する処理と、
抽出した前記特性と異なる特徴情報を物体が存在する画像単位とする処理とを実行させるための
請求項２７記載の物体検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置、物体検出方法および物体検出プログラムに関し、特に、動画像から背景モデルを生成することによって物体を検出する物体検出装置、物体検出方法および物体検出プログラムに関する。
【背景技術】
【０００２】
対象物体を検出するために、物体検出装置、物体検出方法および物体検出プログラムが用いられる。従来技術として、背景差分法やフレーム間差分化法などの手法がある。背景差分法は、入力画像から背景画像（対象物体を含まない背景のみの画像）を差分することにより、対象物体を検出する方法である。背景差分法は、移動または静止する対象物体を良好に検出することが可能であるが、あらかじめ対象物体を含まない正確な背景画像が必要である。また、環境光などにより、背景が変化する場合には正しい検出結果を得ることが難しい。
【０００３】
フレーム間差分法は、入力画像においてある時間間隔のフレーム画像を差分することにより、対象物体を検出する方法である。フレーム間差分法は、背景差分法とは異なり、あらかじめ対象物体を含まない正確な背景画像を用意する必要が無く、環境光などのゆったりとした背景の変化にも強い。しかし、その性質上、対象物体の一部しか検出されない可能性がある。また、静止した対象物体は、フレーム間の変化がほとんど存在しないため、検出が困難になる。
【０００４】
背景差分法の問題点を改善する方法として、背景画像を逐次更新していくという方法がある（例えば、特許文献１参照。）。特許文献１には、単純足し込み法により背景を逐次更新する方法が記載されている。その方法は、更新された背景画像を用い、背景差分法を行うことにより、対象物体を検出するものである。単純足し込み法により背景画像を逐次更新するため、あらかじめ対象物体を含まない正確な背景画像を必要としない。従って、環境光などのゆっくりとした背景の変化にも対応できる。しかし、対象物体が静止したり、ゆっくりと移動するなどの場合には、対象物体が背景画像に更新されてしまうため、対象物体の検出が困難になるという問題がある。また、木のゆれや水面のゆれなどのような継続的な背景変化に対しても、背景画像の更新が追いつかず対応が難しい。
【０００５】
特許文献１に記載されている方法の問題点を解決するための方法として、特許文献２に記載されている方法を使用できる。特許文献２に記載されている方法は、ある時間地点での一定過去区間・一定未来区間において輝度の分散値を求め、それら分散値に閾値を設けることにより、画素状態を「動状態」・「経過状態」・「人候補」・「背景」に識別し、この画素状態を用いて人（一般動物も含む）を検出するものである。そのような方法を用いると、特許文献１に記載されている方法と比べ、人が静止したりゆっくりと移動するなどの場合にも、対象物体の検出が可能になる。
【０００６】
しかし、特許文献２に記載されている方法は、分散値の閾値の違いにより人の静止を判断しているため、人以外の物体（例えば、置き去られた物体など。）が静止する場合、検出が困難になる。つまり、人以外の物体の静止と背景とを区別することはできない。
【０００７】
また、検出された人候補領域の位置・形状などが変化しないことにより継続的な背景変化を判定しているので、例えば、木のゆれや水面のゆれのような位置・大きさが変化するものについては対応できない。
【０００８】
特許文献３には、背景画像を用いて物体としての車両を判定する方法が記載されている。しかし、特許文献３に記載されている方法は、物体を判定する際に、画像における時間的特徴を考慮していない。
【０００９】
【特許文献１】特公平７−３１７３２号公報（第３頁、図１）
【特許文献２】特開２００４−２５８９２７号公報（段落００３６−００３９、図５）
【特許文献３】特開２００６−５９１８３号公報（段落０００７−００１９）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従来の物体検出方法では、静止したり移動する対象物体の検出と、変化しない背景および変化する背景（例えば、環境光などによるゆっくりと変化する背景、木のゆれ・水面のゆれなどによる継続的に変化する背景など。）の非検出とを同時に満たせない。静止する物体と変化しない背景、あるいは、移動する物体と変化する背景といった、画素における特徴変化が類似するものを容易に区別することができないからである。
【００１１】
そこで、本発明は、背景変化が存在する動画像の中で、変化する背景を検出せず、静止したり移動する対象物体を検出できる物体検出装置、物体検出方法および物体検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による物体検出装置は、入力画像における画素が示す特徴の時間的な安定状態を示す画素状態を決定する画素状態決定手段と、長期的な継続性を示す画素状態の画素の特徴、または、その画素状態とは異なる画素状態の画素であって、過去に生成された背景モデルと画素の特徴との類似度を示す特徴距離が予め定められた閾値より小さい画素の特徴を用いて、適応的に背景モデルを生成する背景モデル生成手段と、生成された背景モデルと入力画像の画素の特徴との類似度を示す特徴距離から物体が存在するか否かを判定する物体判定手段とを備え、画素状態決定手段が、入力画像の画素ごとに、その画素が示す特徴の短期的な期間における分散を算出し、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出し、算出された割合が予め定められた範囲内の画素を長期的な継続性を示す画素状態と決定し、算出された割合が範囲外の画素に対し、算出されたその画素の分散値と分散閾値とを比較してその画素の画素状態を決定することを特徴とする。
【００１３】
画素状態決定手段は、割合が第一の閾値以上の場合に長期的な安定状態である継続的な静の状態と判定し、割合が第二の閾値以下の場合に長期的な不安定状態である継続的な動の状態と判定し、割合が第二の閾値より大きく第一の閾値未満の場合であって、画素の分散値が分散値閾値以下の場合に短期的な安定状態である静の状態と判定し、画素の分散値が分散値閾値より大きい場合に短期的な不安定状態である動の状態と判定してもよい。
【００１４】
画素状態決定手段は、割合ＲＳが継続的な静の閾値以上ならば継続的な静、割合ＲＳが継続的な動の閾値以下ならば継続的な動と画素状態を決定し、画素状態が継続的な静または継続的な動以外ならば、分散値が安定状態閾値以下の場合には静、分散値が安定状態閾値より大きい場合には動と画素状態を決定してもよい。
【００１５】
背景モデル生成手段は、画素状態が継続的な静の場合には、静的な背景であると判断して、入力画像の画素の特徴を時系列に蓄積する特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成し、特徴蓄積手段に記憶されている全ての特徴を背景モデル生成用特徴蓄積手段にコピーし、画素状態が継続的な動の場合には、動的な背景であると判断して、特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成し、特徴蓄積手段に記憶されている全ての特徴を背景モデル生成用特徴蓄積手段にコピーする。また、画素状態が静、かつ、入力画像の画素の特徴と前回の背景モデルとの類似度を示す特徴距離が閾値以下で類似度が高い場合には、入力画像の画素の特徴が背景であると判断して特徴蓄積手段に記憶されている最新の特徴を背景モデル生成用特徴蓄積手段に蓄積し、背景モデル生成用特徴蓄積手段に記憶されている特徴から背景モデルを生成し、上記条件以外の場合には、背景モデルを生成せず前回の背景モデルを利用するように構成されていてもよい。
【００１６】
背景モデルは、特徴の平均と特徴の分散とで構成されていることが好ましい。あるいは、背景モデルは、特徴の加重平均と特徴の加重分散とで構成され、加重平均および加重分散における重みは、最新値が最も大きく、過去に向かって小さくなるように設定されていてもよい。あるいは、背景モデルは、混合正規分布を仮定した、特徴における複数の平均、複数の分散および複数の重み係数で構成され、背景モデルから重み係数が閾値以上の背景モデルを選択し、入力画像から抽出した特徴と、選択された背景モデルの複数の平均および複数の分散とから求められる複数の特徴距離に対して、最小値の特徴距離を最終的な特徴距離としてもよい。
【００１７】
また、特徴は、多次元ベクトルで構成され、背景モデルは、平均ベクトルと共分散行列の多次元ベクトルとで構成され、特徴の安定状態・不安定状態を示す短期的な分散値は、特徴蓄積手段に蓄積された特徴の最新値から短期的な過去までの共分散行列における対角成分の和、または、対角成分の最大値であってもよい。そのような構成によれば、多くの情報で、画素状態の決定、背景モデルの生成および物体の判定を実行することができる。
【００１８】
本発明による物体検出装置は、画像を分割して物体の判定を行う物体検出装置であって、入力画像を分割する画像分割手段と、分割された画像単位で、その画像が示す特徴である特徴情報の時間的な安定状態を示す時間的特徴を決定する時間的特徴決定手段と、長期的な継続性を示す時間的特徴を有する画像単位の特徴情報、または、その時間的特徴とは異なる時間的特徴を有する画像であって、過去に生成された背景モデルと画像の特徴情報との類似度を示す特徴距離が予め定められた閾値より小さい画像単位の特徴情報を用いて、適応的に背景モデルを生成する画像背景モデル生成手段と、生成された背景モデルと画像単位の特徴情報との類似度に基づいて物体が存在する画像単位を特定する画像単位特定手段とを備え、時間的特徴決定手段が、画像単位で、その画像における特徴情報の短期的な期間における分散を算出し、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出し、算出された割合が予め定められた範囲内の画像を長期的な継続性を示す時間的特徴を有すると決定し、算出された割合が範囲外の画像に対し、算出されたその画像の分散値と分散閾値とを比較してその画像の時間的特徴を決定することを特徴とする。その場合、時間的特徴決定手段は、画像単位を画素単位とすることが好ましい。
【００２０】
本発明による物体検出装置は、画像単位特定手段における複数の画像単位の時間的特徴の分析時に、画像単位で得られる特徴情報の時系列から時間的性質が類似である部分の特性を抽出し、抽出した特性と異なる特徴情報を物体が存在する画像単位とすることを特徴とする。
【００２１】
特徴情報は、画像単位の輝度、または色相、またはＲＧＢの各値、またはエッジ、またはオプティカルフロー値、または距離画像における距離値のうちの１つ以上であることが好ましい。
【００２２】
本発明の好ましい態様の物体検出装置は、各画素単位で処理を実行するものであり、抽出された特徴を長期的に蓄積する特徴蓄積手段（図１の３１）と、特徴の短期的な分散値を長期的に蓄積する特徴分散値蓄積手段（図１の３２）と、背景モデル生成用の特徴を長期的に蓄積する背景モデル生成用特徴蓄積手段（図１の３３）と、背景モデルを記憶する背景モデル記憶手段（図１の３４）と、動画像から画像を取得する画像取得手段（図１の１）と、取得された画像から各画素における特徴を抽出する特徴抽出手段（図１の２１）と、特徴蓄積手段に記憶されている最新値から短期的な過去までの特徴にもとづいて短期的な分散値を求め、特徴分散値蓄積手段に蓄積し、さらに、特徴分散値蓄積手段においてある閾値以下の分散値の全蓄積データに対する割合ＲＳを取得し、求めた分散値と取得した割合ＲＳを用い、画素状態を４つの状態のいずれかに決定する画素状態決定手段（図１の２２）と、特徴抽出手段で抽出された特徴と背景モデル記憶手段に記憶されている前回の背景モデルとの特徴距離を計算する第１の特徴距離計算手段（図１の２３）と、決定された画素状態と計算された特徴距離とを条件とし、背景モデルの生成方法を決定、その方法に従って、特徴蓄積手段の特徴と背景モデル生成用特徴蓄積手段の特徴から、適応的な背景モデルを生成する背景モデル生成手段（図１の２４）と、特徴抽出手段で抽出された特徴と新たに生成された背景モデルとの特徴距離を計算する第２の特徴距離計算手段（図１の２５）と、第２の特徴距離計算手段から計算された特徴距離を用いて物体を判定する物体判定手段（図１の２６）を有する。
【００２３】
このような構成を採用することによって、特徴の安定状態・不安定状態を示す特徴蓄積手段に記憶されている特徴から求めた短期的な分散値と、特徴における安定状態の継続度を示す特徴分散値蓄積手段から求めた割合ＲＳとから、静（短期的な安定）・動（短期的な不安定）・継続的な静（長期的な安定）・継続的な動（長期的な不安定）という特徴の時間的性質を示す画素状態を決定し、その画素状態と入力画像の画素の特徴と背景モデルとの類似度を示す第１の特徴距離計算手段から求めた特徴距離とを条件として背景モデルの生成方法を決定し、決定した方法に従って、背景モデルを適応的に生成し、さらに、入力画像の画素の特徴と生成された背景モデルとの類似度を示す第２の特徴距離計算手段から求めた特徴距離から、背景モデルと類似でないものを物体と判定することにより、本発明の第１の目的を達成することができる。
【００２４】
本発明による物体検出方法は、入力画像における画素が示す特徴の時間的な安定状態を示す画素状態を決定する画素状態決定処理と、長期的な継続性を示す画素状態の画素の特徴、または、その画素状態とは異なる画素状態の画素であって、過去に生成された背景モデルと画素の特徴との類似度を示す特徴距離が予め定められた閾値より小さい画素の特徴を用いて、適応的に背景モデルを生成する背景モデル生成処理と、生成された背景モデルと入力画像の画素の特徴との類似度を示す特徴距離から物体が存在するか否かを判定する物体判定処理とを含み、画素状態決定処理で、入力画像の画素ごとに、その画素が示す特徴の短期的な期間における分散を算出し、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出し、算出された割合が予め定められた範囲内の画素を長期的な継続性を示す画素状態と決定し、算出された割合が範囲外の画素に対し、算出されたその画素の分散値と分散閾値とを比較してその画素の画素状態を決定することを特徴とする。
【００２５】
また、本発明による物体検出方法は、画素状態決定処理で、割合が第一の閾値以上の場合に長期的な安定状態である継続的な静の状態と判定し、割合が第二の閾値以下の場合に長期的な不安定状態である継続的な動の状態と判定し、割合が第二の閾値より大きく第一の閾値未満の場合であって、画素の分散値が分散値閾値以下の場合に短期的な安定状態である静の状態と判定し、画素の分散値が分散値閾値より大きい場合に短期的な不安定状態である動の状態と判定してもよい。
【００２６】
また、本発明による物体検出方法は、画素状態決定処理で、割合ＲＳが継続的な静の閾値以上ならば画素状態を継続的な静に決定し、割合ＲＳが継続的な動の閾値以下ならば画素状態を継続的な動に決定し、画素状態が継続的な静、または、継続的な動に決定できない場合には、分散値が安定状態閾値以下ならば画素状態を静に決定し、分散値が安定状態閾値より大きいならば画素状態を動と決定してもよい。
【００２７】
また、本発明による物体検出方法は、背景モデル生成処理で、画素状態が継続的な静の場合には、静的な背景であると判断し、入力画像の画素の特徴を時系列に蓄積する特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成して特徴蓄積手段に記憶されている全ての特徴を背景モデル生成用特徴蓄積手段にコピーし、画素状態が継続的な動の場合には、動的な背景であると判断し、特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成して特徴蓄積手段に記憶されている全ての特徴を背景モデル生成用特徴蓄積手段にコピーし、画素状態が静、かつ、入力画像の画素の特徴と前回の背景モデルとの類似度を示す特徴距離が閾値以下で類似度が高い場合には、入力画像の画素の特徴が背景であると判断し、特徴蓄積手段に記憶されている最新の特徴を背景モデル生成用特徴蓄積手段に蓄積して背景モデル生成用特徴蓄積手段に記憶されている特徴から背景モデルを生成し、上記条件以外の場合には、背景モデルを生成せず前回の背景モデルを利用してもよい。
【００２８】
また、本発明による物体検出方法は、背景モデルを、特徴の平均と特徴の分散とで構成することが好ましい。あるいは、背景モデルを、特徴の加重平均と特徴の加重分散とで構成し、加重平均および加重分散における重みを、最新値が最も大きく、過去に向かって小さくなるように設定してもよい。あるいは、背景モデルを、混合正規分布を仮定した、特徴における複数の平均、複数の分散および複数の重み係数で構成し、背景モデルから重み係数が閾値以上の背景モデルを選択し、入力画像から抽出した特徴と、選択された背景モデルの複数の平均および複数の分散とから求められる複数の特徴距離に対して、最小値の特徴距離を最終的な特徴距離としてもよい。
【００２９】
また、本発明による物体検出方法は、特徴を、多次元ベクトルで構成し、背景モデルを、平均ベクトルと共分散行列の多次元ベクトルとで構成し、特徴の安定状態・不安定状態を示す短期的な分散値を、特徴蓄積手段に蓄積された特徴の最新値から短期的な過去までの共分散行列における対角成分の和、または、対角成分の最大値としてもよい。
【００３０】
また、本発明による他の態様の物体検出方法は、画像を分割して物体の判定を行う物体検出方法であって、入力画像を分割する画像分割処理と、分割された画像単位で、当該画像が示す特徴である特徴情報の時間的な安定状態を示す時間的特徴を決定する時間的特徴決定処理と、長期的な継続性を示す時間的特徴を有する画像単位の特徴情報、または、その時間的特徴とは異なる時間的特徴を有する画像であって、過去に生成された背景モデルと画像の特徴情報との類似度を示す特徴距離が予め定められた閾値より小さい画像単位の特徴情報を用いて、適応的に背景モデルを生成する画像背景モデル生成処理と、生成された背景モデルと画像単位の特徴情報との類似度に基づいて物体が存在する画像単位を特定する画像単位特定処理とを含み、時間的特徴決定処理において、画像単位で、その画像における特徴情報の短期的な期間における分散を算出し、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出し、算出された割合が予め定められた範囲内の画像を長期的な継続性を示す時間的特徴を有すると決定し、算出された割合が範囲外の画像に対し、算出されたその画像の分散値と分散閾値とを比較してその画像の時間的特徴を決定することを特徴とする。その場合、時間的特徴決定処理で、画像単位を画素単位としてもよい。
【００３１】
また、画像単位特定処理における複数の画像単位の時間的特徴の分析で、画像単位にて得られる特徴情報の時系列から時間的性質が類似である部分の特性を抽出し、抽出した特性と異なる特徴情報を物体が存在する画像単位としてもよい。
【００３２】
画素状態の決定方法の好ましい態様は、割合ＲＳが継続的な静の閾値以上ならば継続的な静、割合ＲＳが継続的な動の閾値以下ならば継続的な動と決定し、画素状態が継続的な静または継続的な動以外ならば、分散値が安定状態閾値以下の場合には静、分散値が安定状態閾値より大きい場合には動と決定するというものである。背景モデルの生成方法の好ましい態様は、画素状態が継続的な静の場合、静的な背景モデルとして特徴蓄積手段に記憶されている特徴から背景モデルを生成し、画素状態が継続的な動の場合には、動的な背景モデルとして特徴蓄積手段に記憶されている特徴から背景モデルを生成し、画素状態が静で、かつ入力画像の画素の特徴と背景モデルとの類似度が高い場合には、入力画像の画素の特徴を背景モデルとし背景モデル生成用特徴蓄積手段に更新し、そこから背景モデルを生成し、その他の場合には、背景モデルを生成せず前回の背景モデルを使用するというものである。
【００３３】
本発明による物体検出プログラムは、コンピュータに、入力画像における画素が示す特徴の時間的な安定状態を示す画素状態を決定する画素状態決定処理と、長期的な継続性を示す画素状態の画素の特徴、または、その画素状態とは異なる画素状態の画素であって、過去に生成された背景モデルと画素の特徴との類似度を示す特徴距離が予め定められた閾値より小さい画素の特徴を用いて、適応的に背景モデルを生成する背景モデル生成処理と、生成された背景モデルと入力画像の画素の特徴との類似度を示す特徴距離とから物体が存在するか否かを判定する物体判定処理とを実行させ、画素状態決定処理で、入力画像の画素ごとに、その画素が示す特徴の短期的な期間における分散を算出させ、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出させ、算出された割合が予め定められた範囲内の画素を長期的な継続性を示す画素状態と決定させ、算出された割合が範囲外の画素に対し、算出されたその画素の分散値と分散閾値とを比較してその画素の画素状態を決定させることを特徴とする。
【００３４】
また、コンピュータに、画素状態決定処理で、割合ＲＳが継続的な静の閾値以上ならば画素状態を継続的な静、割合ＲＳが継続的な動の閾値以下ならば画素状態を継続的な動、画素状態が継続的な静、または、継続的な動に決定できない場合には、分散値が安定状態閾値以下ならば画素状態を静、分散値が安定状態閾値より大きいならば画素状態を動と決定する処理を実行させることが好ましい。
【００３５】
本発明による物体検出プログラムは、コンピュータに、背景モデル生成処理で、画素状態が継続的な静の場合には、入力画像の画素の特徴を時系列に蓄積する特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成して特徴蓄積手段に記憶されている全ての特徴を背景モデル生成用特徴蓄積手段にコピーし、画素状態が継続的な動の場合には、特徴蓄積手段に記憶されている過去の長期的な画素の特徴を対象として背景モデルを生成して特徴蓄積手段に記憶されている全ての特徴を背景モデル生成用特徴蓄積手段にコピーし、画素状態が静、かつ、入力画像の画素の特徴と前回の背景モデルとの類似度を示す特徴距離が閾値以下で類似度が高い場合には、特徴蓄積手段に記憶されている最新の特徴を背景モデル生成用特徴蓄積手段に蓄積して背景モデル生成用特徴蓄積手段に記憶されている特徴から背景モデルを生成し、上記条件以外の場合には、背景モデルを生成せず前回の背景モデルを利用する処理を実行させてもよい。
【００３６】
また、本発明の他の態様による物体検出プログラムは、画像を分割して物体の判定を行うコンピュータに、入力画像を分割する画像分割処理と、分割された画像単位で、その画像が示す特徴である特徴情報の時間的な安定状態を示す時間的特徴を決定する時間的特徴決定処理と、長期的な継続性を示す時間的特徴を有する画像単位の特徴情報、または、その時間的特徴とは異なる時間的特徴を有する画像であって、過去に生成された背景モデルと画像の特徴情報との類似度を示す特徴距離が予め定められた閾値より小さい画像単位の特徴情報を用いて、適応的に背景モデルを生成する画像背景モデル生成処理と、生成された背景モデルと画像単位の特徴情報との類似度に基づいて物体が存在する画像単位を特定する画像単位特定処理とを実行させ、時間的特徴決定処理において、画像単位で、その画像における特徴情報の短期的な期間における分散を算出させ、過去に算出された分散のうち予め定められた分散閾値以下である分散の割合を算出させ、算出された割合が予め定められた範囲内の画像を長期的な継続性を示す時間的特徴を有すると決定させ、算出された割合が範囲外の画像に対し、算出されたその画像の分散値と分散閾値とを比較してその画像の時間的特徴を決定させることを特徴とする。
【００３８】
また、本発明による物体検出プログラムは、コンピュータに、画像単位特定処理における複数の画像単位の時間的特徴の分析で、画像単位で得られる特徴情報の時系列から時間的性質が類似である部分の特性を抽出する処理と、抽出した特性と異なる特徴情報を物体が存在する画像単位とする処理とを実行させてもよい。
【発明の効果】
【００３９】
本発明の第１の効果は、背景変化が存在する動画像の中で、ゆっくりと変化する背景（例えば、環境光など。）や継続的に変化する背景（例えば、木のゆれや水面のゆれなど。）、あるいは通常の静的な背景を検出せずに、静止したり移動する対象物体を検出できることである。その理由は、入力画像の時系列特徴から決定した特徴の時間的性質を示す画素状態と、入力画像の画素の特徴と前回の背景モデルとの類似度を条件として背景モデルの生成方法を決定し、決定した方法に従って背景モデルを適応的に生成し、さらに、生成された背景モデルと入力画像の画素の特徴との類似度から物体を判定するからである。静止する対象物体は、すぐに画素状態が継続的な静にならないことから静的な背景モデルが生成されないため、物体として検出される。
【００４０】
また、ゆっくりと変化する背景（例えば、環境光など。）については、画素状態が静、かつ、入力画像の画素の特徴と背景モデルとの類似度が高いことから、入力画像の画素の特徴を背景モデル生成の要素として更新しそこから背景モデルが生成されるため、物体として検出されない。また、継続的に変化する背景（例えば、木のゆれや水面のゆれなど。）については、画素状態が継続的な動になることから動的な背景モデルが生成され、物体として検出されない。
【００４１】
継続的に変化する背景の前を通過する物体は、動的な背景モデルと特徴の性質が異なるので、正しく物体として検出される。
【００４２】
本発明の第２の効果は、静止する対象物体を検出し続ける時間を設定できることである。静止する対象物体は、画素状態が継続的な静となる時点で背景モデルに取り込まれ物体として検出されなくなる。画素状態が継続的な静になる時間は、特徴分散値蓄積手段においてある閾値以下の分散値の全蓄積データに対する割合ＲＳの継続的な静の閾値と、特徴分散値蓄積手段における全蓄積データ数とで決定されている。従って、静止する対象物体を検出し続ける時間を設定できる。
【００４３】
本発明の第３の効果は、あらかじめ対象物体を含まない正確な背景画像を必要とせず物体を検出できることである。その理由は、入力画像の時系列特徴から決定した特徴の時間的性質を示す画素状態と、入力画像の画素の特徴と前回の背景モデルとの類似度を条件として、蓄積した特徴から背景モデルを適応的に生成するからである。
【発明を実施するための最良の形態】
【００４４】
実施の形態１．
以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明による物体検出装置の一例を示すブロック図である。図１に示す物体検出装置は、カメラ・ビデオ等の動画像から画像を取得する画像取得手段１と、プログラム制御により動作するデータ処理装置２と、情報を記憶する記憶装置３とを備えている。また、記憶装置３は、特徴蓄積手段３１と、特徴分散値蓄積手段３２と、背景モデル生成用特徴蓄積手段３３と、背景モデル記憶手段３４とを含む。
【００４５】
特徴蓄積手段３１は、ＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）バッファにて、特徴を長期的にｎＬＷ個蓄積している。ＦＩＦＯバッファは、各画素に対して存在する。特徴分散値蓄積手段３２は、ＦＩＦＯバッファにて、特徴の短期的な分散値を長期的にｎＬＷ個蓄積している。背景モデル生成用特徴蓄積手段３３は、ＦＩＦＯバッファにて、背景モデル生成用の特徴を長期的にｎＬＷ個蓄積している。背景モデル記憶手段３４は、背景モデルの生成要素である長期的なｎＬＷ個の特徴に対する平均値μＢＧと分散値σ２ＢＧを背景モデルとして記憶している。背景モデル記憶手段３４において、背景モデルを記憶する記憶部は、各画素に対して存在する。
【００４６】
本発明では、取得した特徴が、値として信頼できるか（すなわち、安定状態であるか）を判断するために、「短期的」な分散値を利用している。この分散値は、特徴を取得した時刻から過去の「短期的」な時刻までの特徴から算出される。そして、算出された分散値がある閾値以下ならば、特徴が信頼できる値（すなわち、安定状態）であると判断する。「短期的」とは、それらの判断を見極めるための時間をいう。例えば、特徴が輝度の場合には、「短期的」という時間を１秒程度に設定する。「１秒程度」とは、厳密には「１秒程度に相当するフレーム数」を意味し、フレームレートにより異なる。
【００４７】
また、本発明において、安定状態にある特徴が「長期的」に継続した場合、その「長期的」な特徴は背景であると仮定する。従って、「長期的」な特徴から背景モデルが生成される。つまり、「長期的」とは、物体が継続して安定状態にある場合において、その物体を背景にするための時間である。例えば、車両が駐車場に駐車されると、最初は物体として検出される。しかし、「長期的」な時間が経つと、物体部分の画素において「長期的」な特徴を利用して背景モデルが生成されるため、駐車された車両は背景として扱われる。すなわち、物体として検出されなくなる。 
【００４８】
「長期的な時間が経つ」ということは、一例として、実施の形態で説明されるように、「長期的な時間に対する安定状態である時間の割合（すなわち、安定状態の継続度）がある閾値以上となること」である。従って、例えば、６０秒間停止した物体を物体として検出したくない場合、「長期的」な時間を６０秒に設定し、安定状態の継続度についてのある閾値を１００％にする。
【００４９】
図１に示されているように、データ処理装置２は、特徴抽出手段２１と、画素状態決定手段２２と、第１の特徴距離計算手段２３と、背景モデル生成手段２４と、第２の特徴距離計算手段２５と、物体判定手段２６とを備える。
【００５０】
特徴抽出手段２１は、画像取得手段１で取得された画像から各画素における特徴Ｉを抽出する。特徴Ｉとは、輝度、色相、ＲＧＢの各値、エッジ、オプティカルフロー値、距離画像における距離値などである。特徴Ｉは、基本的に、物体の静止時において時間的に安定し、物体の移動時において時間的に不安定になるものであればよい。
【００５１】
画素状態決定手段２２は、特徴Ｉの安定状態・不安定状態を決定するため、特徴蓄積部３１に蓄積されている特徴の最新値から短期的な過去ｎＳＷ個（ｎＳＷ＜ｎＬＷ）までの特徴Ｉについて分散値σ２ＳＷを求める。求めた分散値σ２ＳＷを、特徴分散値蓄積手段３２に蓄積する。さらに、画素状態決定手段２２は、特徴Ｉにおける安定状態の継続度を決定するために、（１）式に従って割合ＲＳ（安定状態の継続度）を取得する。
【００５２】
【数１】
0004631806.tif 000002
【００５３】
（１）式において、ｘ，ｙは画素位置、ｔは時間を示す。割合ＲＳは、特徴分散値蓄積手段３２におけるある閾値σ２ＴＨ以下である分散値σ２ＳＷの、全蓄積データに対する割合である。そして、画素状態決定手段２２は、求めた分散値σ２ＳＷと取得した割合ＲＳとを用いて、図２に示すような画素状態遷移図に従って、画素状態を「静」（Ｓ）、「動」（Ｔ）、「継続的な静」（ＣＳ）、「継続的な動」（ＣＴ）という４つの状態のいずれかに決定する。なお、画素状態は特徴Ｉの時間的な性質（時間的特徴）を示す。「静」は短期的に安定、「動」は短期的に不安定、「継続的な静」は長期的に安定、「継続的な動」は長期的に不安定ということを示す。
【００５４】
図２の画素状態遷移図においては、次のようなルールで画素状態が遷移する。取得した割合ＲＳが「継続的な静」の閾値ＲＳ_ＣＳ_ＴＨ以上ならば「継続的な静」、「継続的な動」の閾値ＲＳ_ＣＴ_ＴＨ以下ならば「継続的な動」とする。そして、割合ＲＳが上記条件以外の場合、分散値σ２ＳＷに対し閾値σ２ＴＨ以下ならば「静」、それ以外は「動」とする。
【００５５】
なお、「継続的な静」の閾値ＲＳ_ＣＳ_ＴＨと「継続的な動」の閾値ＲＳ_ＣＴ_ＴＨは、ＲＳ_ＣＳ_ＴＨ＞ＲＳ_ＣＴ_ＴＨの関係を満たすことが条件である。また、「継続的な静」の閾値ＲＳ_ＣＳ_ＴＨは、基本的に１であるとする。
【００５６】
ここでは、特徴分散値蓄積手段３２に分散値σ２ＳＷを蓄積し、割合ＲＳを求めたが、特徴分散値蓄積手段３２に、分散値σ２ＳＷに対する安定状態・不安定状態の判定結果（閾値σ２ＴＨ以下であるか否かの判定結果）を蓄積し、全蓄積データに対する安定状態の割合を求めても割合ＲＳを求めることが可能である。
【００５７】
第１の特徴距離計算手段２３は、特徴抽出手段２１で抽出された特徴Ｉと、背景モデル記憶手段３４に記憶されている前回の背景モデル（すなわち、平均値μＢＧと分散値σ２ＢＧ）との特長距離ｄ１を（２）式に従って計算する。なお、前回の背景モデルとは、背景モデル記憶手段３４に格納されている背景モデルであり、その背景モデルは、背景モデル生成手段２４の過去の背景モデル生成処理によって作成されている。
【００５８】
【数２】
0004631806.tif 000003
【００５９】
算出された特徴距離ｄ１は標準化されていて、特徴距離ｄ１が小さいほど類似度が高い。
【００６０】
背景モデル生成手段２４は、画素状態決定手段２２が決定した画素状態と、第１の特徴距離計算手段２３が計算した特徴距離ｄ１とを条件とし、背景モデルの生成方法を決定する。そして、その方法に従って特徴蓄積手段３１の特徴Ｉと背景モデル生成用特徴蓄積手段３３の特徴Ｉから、適応的な背景モデルを生成する。
【００６１】
例えば、画素状態が「継続的な静」の場合、特徴Ｉが長期的に安定であることから、背景モデル生成手段２４は、長期的な過去を含め静的な背景であると判断する。そして、特徴蓄積手段３１の特徴Ｉの平均値μＢＧと分散値σ２ＢＧとを算出し、背景モデルとする。算出後、特徴蓄積手段３１の全ての特徴Ｉを、背景モデル生成用特徴蓄積手段３３へコピーする。
【００６２】
また、画素状態が「継続的な動」の場合、特徴Ｉが長期的に不安定であることから、背景モデル生成手段２４は、長期的な過去を含め常に動いているという動的な背景であると判断する。そして、特徴蓄積手段３１の特徴Ｉの平均値μＢＧと分散値σ２ＢＧとを算出し、背景モデルとする。算出後、特徴蓄積手段３１の全ての特徴Ｉを、背景モデル生成用特徴蓄積手段３３へコピーする。
【００６３】
画素状態が「静」かつ第１の特徴距離計算手段２３で計算した特徴距離ｄ１が特徴距離閾値ｄＴＨ以下で類似度が高い場合、特徴Ｉが信頼できる値で背景モデルと類似であることから、背景モデル生成手段２４は、特徴抽出手段２１で抽出された特徴Ｉが背景であると判断する。そして、特徴抽出手段２１で抽出された特徴Ｉ、つまり、特徴抽出手段３１の最新の特徴Ｉを背景モデル生成用特徴蓄積手段３３に蓄積する。すなわち、背景モデルの要素を更新する。そして、背景モデル生成用特徴蓄積手段３３の特徴Ｉの平均値μＢＧと分散値σ２ＢＧとを算出して、背景モデルとする。
【００６４】
決定された画素状態と特徴距離ｄ１が上記条件以外の場合、背景モデル生成手段２４は、背景モデルを生成しない。その場合、前回の背景モデルを利用する。
【００６５】
第２の特徴距離計算手段２５は、特徴抽出手段２１で抽出された特徴Ｉと背景モデル記憶手段３４に記憶されている最新の背景モデル（すなわち、平均値μＢＧと分散値σ２ＢＧ）との特徴距離ｄ２を（３）式に従って計算する。
【００６６】
【数３】
0004631806.tif 000004
【００６７】
計算された特徴距離ｄ２は標準化されていて、特徴距離ｄ２が小さいほど類似度が高い。
【００６８】
物体判定手段２６は、第２の特徴距離計算手段２５で計算された特徴距離ｄ２を、（４）式に従って、０〜２５５までの値に正規化した濃淡画像Ｙを生成する。
【００６９】
【数４】
0004631806.tif 000005
【００７０】
なお、ａ，ｂは正の定数である。物体判定手段２６は、閾値による２値化や判別分析法による２値化（最低閾値を設定）などの画像処理による２値化処理により、物体を判定する。濃淡画像Ｙにすることによって画像処理として扱いやすく、ノイズ除去などの画像処理を付加することも可能となる。この他の方法として、特徴距離ｄ２に対して直接ある閾値を設定して物体を判別する方法など、様々な２値化方法が適用できる。
【００７１】
次に、本実施の形態の物体検出装置の動作を、図１、図３、図４および図５を参照して説明する。画像取得手段１は、カメラ・ビデオ等の動画像から画像を取得する（ステップＳ１）。特徴抽出手段２１は、取得された画像から各画素における特徴Ｉを抽出する（ステップＳ２）。さらに、抽出した特徴Ｉを特徴蓄積手段３１に蓄積する（ステップＳ３）。画素状態決定手段２２は、画素状態を決定する（ステップＳ４）。本実施の形態では、特徴抽出手段２１は、各画素における特徴Ｉを抽出するので、実質的に、入力画像を画素単位で分割していることになる。しかし、画像を分割する際の単位（画像単位）は、画素単位ではなく、例えば複数画素単位であってもよい。
【００７２】
ステップＳ４の処理を、図４を参照して詳細に説明する。画素状態決定手段２２は、特徴蓄積手段３１に蓄積された特徴の最新値から短期的な過去ｎＳＷ個までの特徴Ｉについて分散値σ２ＳＷを計算する（ステップＳ４０１）。そして、計算した分散値σ２ＳＷを特徴分散値蓄積手段３２へ蓄積する（ステップＳ４０２）。さらに、（１）式に従い、特徴分散値蓄積手段３２に蓄積されている分散値σ２ＳＷに対して、ある閾値σ２ＴＨ以下である分散値σ２ＳＷの全蓄積データに対する割合ＲＳ（すなわち、安定状態の継続度）を計算する（ステップＳ４０３）。そして、画素状態決定手段２２は、割合ＲＳが「継続的な静」の閾値ＲＳ_ＣＳ_ＴＨ以上であるかを判定する（ステップＳ４０４）。閾値ＲＳ_ＣＳ_ＴＨ以上であれば、画素状態を「継続的な静」と決定する（ステップＳ４０５）。閾値ＲＳ_ＣＳ_ＴＨ未満である場合には、割合ＲＳが「継続的な動」の閾値ＲＳ_ＣＴ_ＴＨ以下であるかを判定する（ステップＳ４０６）。
【００７３】
閾値ＲＳ_ＣＴ_ＴＨ以下であれば、画素状態を「継続的な動」と決定する（ステップＳ４０７）。閾値ＲＳ_ＣＴ_ＴＨよりも大きい場合には、さらに、分散値σ２ＳＷが閾値σ２ＴＨ以下であるかを判定する（ステップＳ４０８）。閾値σ２ＴＨ以下であれば、画素状態を「静」と決定する（ステップＳ４０９）。また、閾値σ２ＴＨよりも大きい場合には、画素状態を「動」と決定する（ステップＳ４１０）。
【００７４】
ステップＳ４において画素状態を決定すると、次に、背景モデル生成手段２４は、背景モデルを生成する（ステップＳ５）。ステップＳ５の処理を、図５を参照して詳細に説明する。第１の特徴距離計算手段２３は、特徴抽出手段２１で抽出された特徴Ｉと背景モデル記憶手段３４に記憶されている前回の背景モデル（すなわち、平均値μＢＧと分散値σ２ＢＧ）を用い、（２）式に従って、第１の特徴距離ｄ１を計算する（ステップＳ５０１）。そして、背景モデル生成手段２４は、画素状態決定手段２２が決定した画素状態が、「継続的な静」、または、「継続的な動」であるかを判定する（ステップＳ５０２）。
【００７５】
「継続的な静」、または、「継続的な動」であれば、背景モデル生成手段２４は、特徴蓄積手段３１に蓄積されている特徴Ｉの平均値μＢＧと分散値σ２ＢＧを算出し、背景モデルとする（ステップＳ５０３）。さらに、特徴蓄積手段３１の全ての特徴Ｉを背景モデル生成用特徴蓄積手段３３へコピーする（ステップＳ５０４）。
【００７６】
「継続的な静」でもなく「継続的な動」でもない場合には、背景モデル生成手段２４は、画素状態が「静」かつ第１の特徴距離ｄ１が特徴距離閾値ｄＴＨ以下であるかを判定する（ステップＳ５０５）。画素状態が「静」かつ第１の特徴距離ｄ１が特徴距離閾値ｄＴＨ以下であれば、特徴蓄積手段３１の最新の特徴Ｉを背景モデル生成用特徴蓄積手段３３に蓄積する（ステップＳ５０６）。そして、背景モデル生成用蓄積手段３３の特徴Ｉの平均値μＢＧと分散値σ２ＢＧを算出し、背景モデルとする（ステップＳ５０７）。画素状態が「静」でないか、または第１の特徴距離ｄ１が特徴距離閾値ｄＴＨ以下でない場合には、背景モデル生成手段２４は、背景モデルを生成しない。
【００７７】
最後に、ステップＳ５０４またはステップＳ５０７で生成された背景モデルは、背景モデル記憶手段３４へ格納される（ステップＳ５０８）。ここで、背景モデルが生成されない場合、背景モデル記憶手段３４への格納は行われず、前回の背景モデルが残る。すなわち、背景モデルが生成されない場合には、前回の背景モデルを生成したことになる。
【００７８】
ステップＳ５の処理で背景モデルが生成されると、第２の特徴距離計算手段２５は、（３）式に従って、第２の特徴距離ｄ２を計算する（ステップＳ６）。計算には、特徴抽出手段２１で抽出された特徴Ｉと、背景モデル記憶手段３４に記憶されている最新の背景モデル（すなわち、平均値μＢＧと分散値σ２ＢＧ）とが用いられる。
【００７９】
物体判定手段２６は、第２の特徴距離ｄ２を（４）式に従って０〜２５５までの値に正規化した濃淡画像Ｙにし、閾値による２値化、判別分析法による２値化（最低閾値を設定）などの画像処理による２値化処理により、物体を判定する（ステップＳ７）。そして、物体検出結果を出力する。
【００８０】
次に、本実施の形態の効果について説明する。本実施の形態では、入力画像の時系列特徴から決定した特徴の時間的性質を示す画素状態と、入力画像の画素の特徴と背景モデルとの類似度とを条件として、背景モデルの生成方法を決定する。そして、その方法に従って背景モデルを適応的に生成し、生成した背景モデルと入力画像の画素の特徴との類似度から物体を判定するので、背景変化が存在する動画像の中で、ゆっくりと変化する背景（例えば、環境光など。）、継続的に変化する背景（例えば、木のゆれや水面のゆれなど。）、および、通常の静的な背景を検出せずに、静止・移動する対象物体を検出できる。
【００８１】
また、本実施の形態の物体検出装置では、静止する対象物体は画素状態が「継続的な静」となる時点で、背景モデルに取り込まれ、物体として検出されなくなる。画素状態が「継続的な静」になる時間は、特徴分散値蓄積手段３２においてある閾値以下の分散値の全蓄積データに対する割合ＲＳの「継続的な静」の閾値と、特徴分散値蓄積手段３２における全蓄積データ数とで決定される。従って、静止する対象物体を検出し続ける時間を設定できる。
【００８２】
例えば、「継続的な静」の閾値を小さくした場合、「継続的な静」となる時間は短くなる。すなわち、画素状態は、「継続的な静」になりやすくなる。
【００８３】
さらに、入力画像の時系列特徴から決定した特徴の時間的性質を示す画素状態と、入力画像の画素の特徴と前回の背景モデルとの類似度とを条件として、蓄積した特徴から背景モデルを適応的に生成するので、あらかじめ対象物体を含まない正確な背景画像を必要とせず物体を検出できる。
【００８４】
実施の形態２．
次に、本発明の第２の実施の形態を図面を参照して説明する。第２の実施の形態の物体検出装置は、図１に示された第１の実施の形態の物体検出装置の構成と基本的には同じ構成を有しているが、背景モデル生成手段２４の機能が一部変更されている点で異なる。背景モデル生成手段２４は、図１に示された第１の実施の形態における背景モデル生成手段２４の動作を行うが、背景モデルとして、特徴Ｉの平均値μＢＧと分散値σ２ＢＧを算出するのではなく、特徴Ｉの加重平均値を平均値μＢＧ、加重分散値を分散値σ２ＢＧとして算出する。背景モデル生成手段２４は、加重平均値を、（５）式に従って算出する。
【００８５】
【数５】
0004631806.tif 000006
【００８６】
Ｗｉは重み係数、Ｉｉは特徴である。そして、加重分散値を、（６）式に従って算出する。
【００８７】
【数６】
0004631806.tif 000007
【００８８】
Ｗｉは重み係数、Ｉｉは特徴である。重み係数Ｗｉは、現在に近いほど背景として信頼できる特徴Ｉであるとして、最新値が最も大きく、過去に向かって小さくなるように設定される。
【００８９】
次に、第２の実施の形態の物体検出装置の動作を図１、図３、図４、図６を参照して説明する。本実施の形態の動作は、図５に示された第１の実施の形態の動作から、ステップＳ５０３およびステップＳ５０７が除かれ、図６に示すようにステップＳ５０９およびステップＳ５１０が追加されている点で第１の実施の形態と異なる。他のステップは、第１の実施の形態におけるステップと同じである。
【００９０】
背景モデル生成手段２４は、画素状態決定手段２２で決定した画素状態が、「継続的な静」、または、「継続的な動」であるかを判定する（ステップＳ５０２）。「継続的な静」、または、「継続的な動」であれば、特徴蓄積手段３１に蓄積されている特徴Ｉの加重平均値と加重分散値を（５）式および（６）式に従って算出し、加重平均値を平均値μＢＧ、加重分散値を分散値σ２ＢＧとして、背景モデルとする（ステップＳ５０９）。さらに、特徴蓄積手段３１の全ての特徴Ｉを背景モデル生成用特徴蓄積手段３３へコピーする（ステップＳ５０４）。「継続的な静」でもなく「継続的な動」でもない場合には、画素状態が「静」かつ第１の特徴距離ｄ1が特徴距離閾値ｄＴＨ以下であるかを判定する（ステップＳ５０５）。画素状態が「静」かつ第１の特徴距離ｄ1が特徴距離閾値ｄＴＨ以下であれば、特徴蓄積手段３１の最新の特徴Ｉを背景モデル生成用特徴蓄積手段３３に蓄積し（ステップＳ５０６）、背景モデル生成用特徴蓄積手段３３の特徴Ｉの加重平均値と加重分散値を（５）式および（６）式に従って算出する。そして、加重平均値を平均値μＢＧ、加重分散値を分散値σ２ＢＧとし、背景モデルとする（ステップＳ５１０）。画素状態が「静」でないか、または第１の特徴距離ｄ1が特徴距離閾値ｄＴＨ以下でない場合には、背景モデルを生成しない。
【００９１】
最後に、ステップＳ５０４またはステップＳ５１０で生成された背景モデルは、背景モデル記憶手段３４へ格納される（ステップＳ５０８）。ここで、背景モデルが生成されない場合、背景モデル記憶手段３４への格納は行われず、前回の背景モデルが残る。すなわち、背景モデルが生成されない場合は、前回の背景モデルを生成したことになる。
【００９２】
次に、本実施の形態の効果について説明する。本実施の形態では、背景モデルである平均値μＢＧ・分散値σ２ＢＧを加重平均値・加重分散値として算出する。そして、現在に近いほど背景として信頼できる特徴Ｉであることに基づき、最新値が最も大きく過去に向かって小さくなるように重み係数Ｗｉを付加するので、最適な背景モデルを取得することができる。このため、より精度の高い物体検出を行うことができる。
【００９３】
実施の形態３．
次に、本発明の第３の実施の形態を説明する。本実施の形態の物体検出装置は、基本的に、図１に示された第１の実施の形態の構成と同じ構成を有するが、第１の特徴距離計算手段２３、背景モデル生成手段２４、第２の特徴距離計算手段２５、背景モデル記憶手段３４の機能が変更されている点で第１の実施の形態と異なる。
【００９４】
背景モデル生成手段２４は、図１に示された第１の実施の形態における背景モデル生成手段２４と同じ動作を行うが、背景モデルとして、１つの正規分布を仮定した、特徴Ｉの平均値μＢＧと分散値σ２ＢＧを算出するのではなく、混合正規分布を仮定した、特徴Ｉにおける複数の、平均値μＢＧｉ、分散値σ２ＢＧｉ、重み係数αｉを算出する。ここで、ｉは正規分布の番号である。算出方法として、ＥＭアルゴリズム等を用いる。
【００９５】
背景モデル記憶手段３４は、背景モデルの生成要素である長期的なｎＬＷ個の特徴に対する平均値μＢＧｉ、分散値σ２ＢＧｉおよび重み係数αｉを正規分布の数だけ背景モデルとして記憶している。背景モデル記憶手段３４において、背景モデルを記憶する記憶部は、各画素に対して存在する。
【００９６】
第１の特徴距離計算手段２３は、背景モデル記憶手段３４に記憶されている前回の背景モデル（すなわち、複数の、平均値μＢＧｉ、分散値σ２ＢＧｉおよび重み係数αｉ）から重み係数αｉが閾値αＴＨ以上のものを選択する。そして、特徴抽出手段２１で抽出された特徴Ｉとの特徴距離ｄ１を（２）式に従って計算し標準化する。算出された複数の特徴距離ｄ１について、最小値を求め、それを最終的な特徴距離ｄ１とする。特徴距離ｄ１が小さいほど類似度が高い。
【００９７】
第２の特徴距離計算手段２５は、背景モデル記憶手段３４に記憶されている最新の背景モデル（すなわち、複数の、平均値μＢＧｉ、分散値σ２ＢＧｉおよび重み係数αｉ）から重み係数αｉが閾値αＴＨ以上のものを選択する。そして、特徴抽出手段２１で抽出された特徴Ｉとの特徴距離ｄ２を（３）式に従って計算し標準化する。算出された複数の特徴距離ｄ２について、最小値を求め、それを最終的な特徴距離ｄ２とする。特徴距離ｄ２が小さいほど類似度が高い。
【００９８】
次に、本実施の形態の物体検出装置の動作を、図１、図４、図７、図８を参照して説明する。本実施の形態の動作は、図３に示された第１の実施の形態の動作からステップＳ６を除き、図５に示された第１の実施の形態の動作からステップＳ５０１、ステップＳ５０３、ステップＳ５０７を除き、図７に示すようにステップＳ８〜Ｓ１０を追加し、図８に示すようにステップＳ５１１〜Ｓ５１５を追加する点で第１の実施の形態と異なる。他のステップは、第１の実施の形態におけるステップと同じである。
【００９９】
第１の特徴距離計算手段２３は、背景モデル記憶手段３４に記憶されている前回の背景モデルである複数の平均値μＢＧｉ、分散値σ２ＢＧｉ、重み係数αｉにおいて、重み係数αｉが閾値αＴＨ以上の背景モデルを選択する（ステップＳ５１１）。選択した複数の平均値μＢＧｉ、分散値σ２ＢＧｉと特徴抽出手段２１で抽出した特徴Ｉとを用い、（２）式に従って、複数の特徴距離ｄ１を計算する（ステップＳ５１２）。計算した複数の特徴距離ｄ１について、最小値を求め、最終的な特徴距離ｄ１とする（ステップＳ５１３）。
【０１００】
背景モデル生成手段２４は、画素状態決定手段２２で決定した画素状態が、「継続的な静」、または、「継続的な動」であるかを判定する（ステップＳ５０２）。「継続的な静」、または、「継続的な動」であれば、特徴蓄積手段３１に蓄積されている特徴Ｉにおいて、ＥＭアルゴリズム等を施して、混合正規分布のパラメータである複数の、平均値μＢＧｉ、分散値σ２ＢＧｉ、重み係数αｉを算出し、背景モデルとする（ステップＳ５１４）。さらに、特徴蓄積手段３１の全ての特徴Ｉを背景モデル生成用特徴蓄積手段３３へコピーする（ステップＳ５０４）。「継続的な静」でもなく「継続的な動」でもない場合には、画素状態が「静」かつ第１の特徴距離ｄ１が特徴距離閾値ｄＴＨ以下であるかを判定する（ステップＳ５０５）。
【０１０１】
画素状態が「静」かつ第１の特徴距離ｄ１が特徴距離閾値ｄＴＨ以下であれば、特徴蓄積手段３１の最新の特徴Ｉを背景モデル生成用特徴蓄積手段３３に蓄積する（ステップＳ５０６）。そして、背景モデル生成用特徴蓄積手段３３の特徴Ｉにおいて、ＥＭアルゴリズム等を施し、混合正規分布のパラメータである複数の、平均値μＢＧｉ、分散値σ２ＢＧｉ、重み係数αｉを算出し、背景モデルとする（ステップＳ５１５）。画素状態が「静」でないか、または第１の特徴距離ｄ１が特徴距離閾値ｄＴＨ以下でない場合には、背景モデルを生成しない。
【０１０２】
最後に、ステップＳ５０４またはステップＳ５１５で生成された背景モデルは、背景モデル記憶手段３４へ格納される（ステップＳ５０８）。ここで、背景モデルが生成されない場合、背景モデル記憶手段３４への格納は行われず、前回の背景モデルが残る。すなわち、背景モデルが生成されない場合は、前回の背景モデルを生成したことになる。
【０１０３】
本実施の形態では、背景モデルを、正規分布を仮定した１つの、平均値μＢＧ・分散値σ２ＢＧで求めるのではなく、混合正規分布を仮定した複数の、平均値μＢＧｉ、分散値σ２ＢＧｉおよび重み係数αｉで求めるので、モデルの表現力が増し正確な背景モデルを取得することができる。このため、より精度の高い物体検出を行うことができる。
【０１０４】
実施の形態４．
次に、本発明の第４の実施の形態を図面を参照して説明する。本実施の形態は、基本的に、図１に示された第１の実施の形態の物体検出装置の構成と同じ構成を有するが、画像取得手段１、物体判定手段２６および特徴分散値蓄積手段３２以外の各手段の機能を一部変更する点で第１の実施の形態と異なる。
【０１０５】
特徴抽出手段２１は、画像取得手段１で取得された画像から各画素における特徴ベクトルＸを抽出する。特徴ベクトルＸとは、例えば、輝度、色相、ＲＧＢの各値、エッジ、オプティカルフロー値、距離画像における距離値などを組み合わせて多次元に構成したものである。ただし、基本的に、物体の静止時において時間的に安定し、物体の移動時において時間的に不安定になるものであればよい。また、対象画素とその周辺の特徴Ｉを用いブロックとすることで、特徴ベクトルＸを構成してもよい。さらに、上記の両方を組み合わせることで、特徴ベクトルＸを構成してもよい。
【０１０６】
特徴蓄積手段３１は、ＦＩＦＯバッファにて、特徴ベクトルＸを長期的にｎＬＷ個蓄積している。ＦＩＦＯバッファは、各画素に対して存在する。背景モデル生成用特徴蓄積手段３３は、ＦＩＦＯバッファにて、背景モデル生成用の特徴ベクトルＸを長期的にｎＬＷ個蓄積している。背景モデル生成用特徴蓄積手段３３において、背景モデル生成用の特徴ベクトルＸを記憶する記憶部は、各画素に対して存在する。
【０１０７】
背景モデル記憶手段３４は、背景モデルの生成要素である長期的なｎＬＷ個の特徴ベクトルＸに対する平均ベクトルｍＢＧと共分散行列ΣＢＧとを背景モデルとして記憶している。背景モデル記憶手段３４において、背景モデルを記憶する記憶部は、各画素に対して存在する。
【０１０８】
画素状態決定手段２２は、特徴ベクトルＸの安定状態・不安定状態を決定するために、特徴蓄積手段３１に蓄積された特徴ベクトルの最新値から短期的な過去ｎＳＷ個（ｎＳＷ＜ｎＬＷ）までの特徴ベクトルＸについて共分散行列ΣＳＷを求める。共分散行列ΣＳＷにおける対角成分の和、または、対角成分の最大値等から分散値σ２ＳＷを取得し、特徴分散値蓄積手段３２に蓄積する。さらに、特徴ベクトルＸにおける安定状態の継続度を取得するため、（１）式に従い、特徴分散値蓄積手段３２におけるある閾値σ２ＴＨ以下である分散値σ２ＳＷの全蓄積データに対する割合ＲＳを取得する。割合ＲＳは、安定状態の継続度を示すものである。
【０１０９】
そして、取得した分散値σ２ＳＷと取得した割合ＲＳを用い、図２に示すような画素状態遷移図に従って、画素状態を、「静」、「動」、「継続的な静」および「継続的な動」という４つの状態のいずれかに決定する。なお、画素状態は、特徴ベクトルＸの時間的な性質（時間的特徴）を示す。「静」は短期的に安定、「動」は短期的に不安定、「継続的な静」は長期的に安定、「継続的な動」は長期的に不安定ということを示す。
【０１１０】
次に、画素状態の遷移について図２を参照して説明する。図２の画素状態遷移図においては、画素状態は、以下のようなルールで遷移する。取得した割合ＲＳが「継続的な静」の閾値ＲＳ_ＣＳ_ＴＨ以上ならば「継続的な静」、「継続的な動」の閾値ＲＳ_ＣＴ_ＴＨ以下ならば「継続的な動」とする。そして、割合ＲＳが上記条件以外の場合、分散値σ２ＳＷに対し、閾値σ２ＴＨ以下ならば「静」、それ以外は「動」とする。
【０１１１】
なお、「継続的な静」の閾値ＲＳ_ＣＳ_ＴＨと「継続的な動」の閾値ＲＳ_ＣＴ_ＴＨは、ＲＳ_ＣＳ_ＴＨ＞ＲＳ_ＣＴ_ＴＨの関係を満たすことが条件である。また、「継続的な静」の閾値ＲＳ_ＣＳ_ＴＨは、基本的に１であるとする。
【０１１２】
ここでは、特徴分散値蓄積手段３２に分散値σ２ＳＷを蓄積して割合ＲＳを求めたが、特徴分散値蓄積手段３２に、分散値σ２ＳＷに対する安定状態・不安定状態の判定結果（閾値σ２ＴＨ以下であるか否かの判定結果）を蓄積し、全蓄積データに対する安定状態の割合を求めても割合ＲＳを求めることが可能である。
【０１１３】
第１の特徴距離計算手段２３は、特徴抽出手段２１で抽出された特徴ベクトルＸと、背景モデル記憶部３４に記憶されている前回の背景モデル（すなわち、平均ベクトルｍＢＧと共分散行列ΣＢＧ）とのマハラノビス距離Ｄ１２を（７）式に従って計算する。
【０１１４】
【数７】
0004631806.tif 000008
【０１１５】
そして、計算されたマハラノビス距離Ｄ１２を第１の特徴距離ｄ１とする。特徴距離ｄ１が小さいほど類似度が高い。
【０１１６】
背景モデル生成手段２４は、画素状態決定手段２２で決定した画素状態と、第１の特徴距離計算手段２３が計算した特徴距離ｄ１とを条件として、背景モデルの生成方法を決定する。そして、その方法に従って、特徴蓄積手段３１の特徴ベクトルＸと背景モデル生成用特徴蓄積手段３３の特徴ベクトルＸから、適応的な背景モデルを生成する。画素状態が「継続的な静」の場合、特徴ベクトルＸが長期的に安定であることから、長期的な過去を含め静的な背景であると判断する。そして、特徴蓄積手段３１の特徴ベクトルＸの平均ベクトルｍＢＧと共分散行列ΣＢＧとを算出し、背景モデルとする。算出後、背景モデル生成手段２４は、特徴蓄積手段３１の全ての特徴ベクトルＸを、背景モデル生成用特徴蓄積手段３３へコピーする。
【０１１７】
画素状態が「継続的な動」の場合、特徴ベクトルＸが長期的に不安定であることから、長期的な過去を含め常に動いている動的な背景であると判断する。そして、特徴蓄積手段３１の特徴ベクトルＸの平均ベクトルｍＢＧと共分散行列ΣＢＧを算出し、背景モデルとする。算出後、背景モデル生成手段２４は、特徴蓄積手段３１の全ての特徴ベクトルＸを、背景モデル生成用特徴蓄積手段３３へコピーする。
【０１１８】
画素状態が「静」かつ第１の特徴距離計算手段２３で計算した特徴距離ｄ１が特徴距離閾値ｄＴＨ以下で類似度が高い場合、特徴ベクトルＸが信頼できる値で背景モデルと類似であることから、特徴抽出手段２１で抽出された特徴ベクトルＸが背景であると判断する。そして、特徴抽出手段２１で抽出された特徴ベクトルＸ、つまり、特徴蓄積手段３１の最新の特徴ベクトルＸを背景モデル生成用特徴蓄積手段３３に蓄積する。すなわち、背景モデルの要素を更新する。そして、背景モデル生成用特徴蓄積手段３３の特徴ベクトルＸの平均ベクトルｍＢＧと共分散行列ΣＢＧを算出し、背景モデルとする。決定された画素状態と特徴距離ｄ１が上記条件以外の場合、背景モデルは生成しない。その場合、前回の背景モデルを利用する。
【０１１９】
第２の特徴距離計算手段２５は、特徴抽出手段２１で抽出された特徴ベクトルＸと背景モデル記憶手段３４に記憶されている最新の背景モデル（すなわち、平均ベクトルｍＢＧと共分散行列ΣＢＧ）とのマハラノビス距離Ｄ２２を（８）式に従って計算する。
【０１２０】
【数８】
0004631806.tif 000009
【０１２１】
そして、計算されたマハラノビス距離Ｄ２２を第２の特徴距離ｄ２とする。特徴距離ｄ２が小さいほど類似度が高い。
【０１２２】
次に、本実施の形態の物体検出装置の動作を、図１、図９、図１０、図１１を参照して説明する。本実施の形態の動作は、図３に示された第１の実施の形態の動作からステップＳ２、ステップＳ３、ステップＳ６をのぞき、図４に示された第１の実施の形態の動作からステップＳ４０１を除き、図５に示された第１の実施の形態の動作からステップＳ５０１，ステップＳ５０３，ステップＳ５０４、ステップＳ５０６、ステップＳ５０７を除き、図９に示すようにステップＳ１１〜１３を、図１０に示すようにステップＳ４１１，４１２を、図１１に示すようにステップＳ５１６〜５２０を追加する点で第１の実施の形態と異なる。他のステップは、第１の実施の形態におけるステップと同じである。
【０１２３】
特徴抽出手段２１は、画像取得手段１が取得した画像から各画素における特徴ベクトルＸを抽出する（ステップＳ１１）。さらに、抽出された特徴ベクトルＸを特徴蓄積手段３１に蓄積する（ステップＳ１２）。
【０１２４】
画素状態決定手段２２は、特徴蓄積手段３１に蓄積された特徴ベクトルの最新値から短期的な過去ｎＳＷ個までの特徴ベクトルＸについて、共分散行列ΣＳＷを計算する（ステップＳ４１１）。計算された共分散行列ΣＳＷにおける対角成分の和、または、対角成分の最大値等から分散値σ２ＳＷを計算する（ステップＳ１２）。
【０１２５】
第１の特徴距離計算手段２３は、特徴抽出手段２１で抽出された特徴ベクトルＸと背景モデル記憶手段３４に記憶されている前回の背景モデル（すなわち、平均ベクトルｍＢＧと共分散行列ΣＢＧ）を用い、（７）式に従って、マハラノビス距離Ｄ１２を計算する。そして、計算されたマハラノビス距離Ｄ１２を第１の特徴距離ｄ１とする（ステップＳ５１６）。
【０１２６】
背景モデル生成手段２４は、画素状態決定手段２２で決定した画素状態が、「継続的な静」または「継続的な動」であるか判定する（ステップＳ５０２）。「継続的な静」または「継続的な動」であれば、特徴蓄積手段３１に蓄積されている特徴ベクトルＸの平均ベクトルｍＢＧと共分散行列ΣＢＧを算出し、背景モデルとする（ステップＳ５１７）。さらに、特徴蓄積手段３１の全ての特徴ベクトルＸを背景モデル生成用特徴蓄積手段３３へコピーする（ステップＳ５１８）。「継続的な静」でもなく「継続的な動」でもない場合には、画素状態が「静」かつ第１の特徴距離ｄ１が特徴距離閾値ｄＴＨ以下であるかを判定する（ステップ５０５）。
【０１２７】
画素状態が「静」かつ第１の特徴距離ｄ１が特徴距離閾値ｄＴＨ以下であれば、特徴蓄積手段３１の最新の特徴ベクトルＸを背景モデル生成用特徴蓄積手段３３に蓄積し（ステップＳ５１９）、背景モデル生成用特徴蓄積手段３３の特徴ベクトルＸの平均ベクトルｍＢＧと共分散行列ΣＢＧを算出する。そして、算出した特徴ベクトルＸの平均ベクトルｍＢＧと共分散行列ΣＢＧとを、背景モデルとする（ステップＳ５２０）。画素状態が「静」でないか、または第１の特徴距離ｄ１が特徴距離閾値ｄＴＨ以下でない場合には、背景モデルを生成しない。
【０１２８】
最後に、ステップＳ５１８とステップＳ５２０で生成された背景モデルは、背景モデル記憶手段３４へ格納される（ステップＳ５０８）。ここで、背景モデルが生成されない場合、背景モデル記憶手段３４への格納は行われず、前回の背景モデルが残る。すなわち、背景モデルが生成されない場合は、前回の背景モデルを生成したことになる。
【０１２９】
次に、第２の特徴距離計算手段２５は、特徴抽出手段２１で抽出された特徴ベクトルＸと背景モデル記憶手段３４に記憶されている最新の背景モデル（すなわち、平均ベクトルｍＢＧと共分散行列ΣＢＧ）とを用い、（８）式に従って、マハラノビス距離Ｄ２２を計算する。そして、計算されたマハラノビス距離Ｄ２２を第２の特徴距離ｄ２とする（ステップＳ１３）。
【０１３０】
本実施の形態では、１次元の特徴を特徴ベクトルという多次元の特徴に拡張したので、多くの情報から、画素状態の決定、背景モデルの生成、および、物体の判定を実行することができる。そのため、より精度の高い物体検出を行うことができる。
【０１３１】
実施の形態５．
次に、本発明の第５の実施の形態を図面を参照して説明する。図１２に示すように、本実施の形態では、第１の実施の形態と同様な画像取得手段１と、特徴蓄積手段３１と特徴分散値蓄積手段３２と背景モデル生成用特徴蓄積手段３３と背景モデル記憶手段３４とを有する記憶装置３とが、コンピュータ４に接続されている。また、物体検出用プログラム５を記憶するコンピュータ可読記憶媒体６がコンピュータ４に接続されている。
【０１３２】
コンピュータ可読媒体６は、磁気ディスクや半導体メモリ等で構成される。コンピュータ可読媒体６に記憶された物体検出用プログラム５は、コンピュータ４の立ち上げ時などにコンピュータ４に読み取られ、コンピュータ４の動作を制御させる。そして、コンピュータ４を第１の実施の形態におけるデータ処理装置２内の各手段２１〜２６として機能させ、図３〜５に示される処理を実行させる。
【０１３３】
なお、本実施の形態では、第１の実施の形態における物体検出装置が、コンピュータとプログラムとで実現されたが、第２、第３および第４の実施の形態における物体検出装置を、コンピュータとプログラムとで実現することも可能である。
【産業上の利用可能性】
【０１３４】
本発明は、背景変化が存在する動画像の中で、変化する背景を検出せず、静止または移動する対象物体を検出する物体検出装置や、物体検出装置をコンピュータに実現するためのプログラムに好適に適用可能である。また、カメラ・蓄積映像からの物体検出を必要とする監視分野において、例えば、侵入者検出・不審者検出・不審物の置き去り検出・荷物の持ち去り検出・ゲートの共連れ検出・混雑および行列検出を行う装置・機能に好適に適用可能である。さらに、カメラ・蓄積映像からの物体検出位置を入力とする入力インターフェイスといった用途に適用できる。このほか、物体検出をトリガ・キーとするビデオ／映像検索装置・機能に適用できる。
【図面の簡単な説明】
【０１３５】
【図１】本発明の第１、第２、第３および第４の実施の形態の構成例を示すブロック図である。
【図２】本発明の第１、第２、第３および第４の実施の形態における画素状態の遷移を説明する説明図である。
【図３】第１および第２の実施の形態の動作を示すフローチャートである。
【図４】第１、第２および第３の実施の形態の動作を示すフローチャートである。
【図５】第１の実施の形態の動作を示すフローチャートである。
【図６】第２の実施の形態の動作を示すフローチャートである。
【図７】第３の実施の形態の動作を示すフローチャートである。
【図８】第３の実施の形態の動作を示すフローチャートである。
【図９】第４の実施の形態の動作を示すフローチャートである。
【図１０】第４の実施の形態の動作を示すフローチャートである。
【図１１】第４の実施の形態の動作を示すフローチャートである。
【図１２】第５の実施の形態の構成例を示すブロック図である。
【符号の説明】
【０１３６】
１  画像取得手段
２  データ処理装置
３  記憶装置
４  コンピュータ
５  物体検出用プログラム
６  コンピュータ可読記憶媒体
２１  特徴抽出手段
２２  画素状態決定手段
２３  第１の特徴距離計算手段
２４  背景モデル生成手段
２５  第２の特徴距離計算手段
２６  物体判定手段
３１  特徴蓄積手段
３２  特徴分散値蓄積手段
３３  背景モデル生成用特徴蓄積手段
３４  背景モデル記憶手段
【図１】
0004631806.tif 000010
【図２】
0004631806.tif 000011
【図３】
0004631806.tif 000012
【図４】
0004631806.tif 000013
【図５】
0004631806.tif 000014
【図６】
0004631806.tif 000015
【図７】
0004631806.tif 000016
【図８】
0004631806.tif 000017
【図９】
0004631806.tif 000018
【図１０】
0004631806.tif 000019
【図１１】
0004631806.tif 000020
【図１２】
0004631806.tif 000021