(57)【要約】【課題】どのような状況にあっても安定的に高精度な背景を得ることができ、照明変動や遮蔽等の影響を受けても検出に失敗することのない認識システム、監視システム、見守りシステムを提供する。【解決手段】基本的には多数決論理によるが、観測手段により背景を反映する背景パラメータと対象物の存在位置を反映する存在位置パラメータを取得し、背景パラメータが所定の範囲内に所定の閾値以上で存在するかを判定し、存在すればその背景パラメータを背景候補領域を示すパラメータとして設定し、かつ、存在位置パラメータが所定の範囲内に所定の閾値以上で存在するかを判定し、存在すればその存在位置パラメータを対象物候補領域を示すパラメータとして設定する。【選択図】図１
2011198244.tif 000002
【特許請求の範囲】
【請求項１】
一定時間内、監視領域及び／又は見守り領域を観測する観測手段と、
上記観測手段の観測によって得られた背景及び／又は対象物の内容あるいは属性を反映するパラメータが所定の範囲内に所定の閾値以上で存在しているか否かを判定するパラメータ判定手段と、
上記パラメータ判定手段が所定の閾値以上で存在していると判定した場合、上記所定の範囲内にあるパラメータを、求めるパラメータとして設定することで、背景及び／又は対象物の内容あるいは属性を抽出する特徴抽出手段
を有する対象物の認識システム。
【請求項２】
上記観測手段の観測によって得られた、背景を反映する背景パラメータが、所定の範囲内に所定の閾値以上で存在しているか否かを判定する背景判定手段と、
上記背景判定手段が所定の閾値以上で存在していると判定した場合、上記所定の範囲内にある背景パラメータを、背景候補領域を示すパラメータとして設定することで、背景を抽出する背景抽出手段と、
を有する請求項１記載の対象物の認識システム。
【請求項３】
上記観測手段の観測によって得られた、対象物の存在位置を反映する対象物の存在位置パラメータが、所定の範囲内に所定の閾値以上で存在しているか否かを判定する対象物存在位置判定手段と、
上記対象物存在位置判定手段が所定の閾値以上で存在していると判定した場合、上記所定の範囲内にある存在位置パラメータから対象物候補領域を抽出し、対象物パラメータから対象物を抽出する対象物抽出手段と、
を有する請求項１記載の対象物の認識システム。
【請求項４】
上記観測手段の観測によって得られた、対象物を反映する対象物パラメータが、所定の範囲内に所定の閾値以上で存在しているか否かを判定する対象物判定手段と、
上記対象物判定手段が所定の閾値以上で存在していると判定した場合、上記所定の範囲内にある対象物パラメータを、対象物候補領域を示すパラメータとして設定することで、対象物を抽出する対象物抽出手段と、
を有する請求項１記載の対象物の認識システム。
【請求項５】
上記観測手段の観測によって得られた、微小動きを反映する微小動きパラメータが、所定の範囲内に所定の閾値以上で存在しているか否か及び／又は所定の閾値以下しか存在していないかを判定する微小動き判定手段と、
上記微小動き判定手段が判定したパラメータの存在範囲に応じて対象物が完全な静止物体であるか、微小な動きをするものであるかを判断できる微小動き検出手段と、
を有する請求項１から４の何れかに記載の対象物の認識システム。
【請求項６】
上記背景判定手段が所定の閾値以上で存在していないと判定した部分を背景候補領域から除いて、上記背景抽出手段が設定した所定の範囲内にある背景パラメータを、背景の候補領域を示すパラメータとして設定し、背景候補領域から背景パラメータを決定する背景推定手段、
を備える請求項１又は２記載の対象物の認識システム。
【請求項７】
上記対象物判定手段が所定の閾値以上で存在していないと判定した部分を対象物候補領域から除いて、上記対象物抽出手段が設定した所定の範囲内にある対象物存在位置パラメータを、対象物の候補領域を示すパラメータとして設定する対象物存在位置推定手段を備え、
上記対象物抽出手段が、上記対象物存在位置推定手段が設定したパラメータに基づいて、対象物領域を抽出し、存在位置パラメータを決定する
請求項１又は３記載の対象物の認識システム。
【請求項８】
上記対象物判定手段が所定の閾値以上で存在していないと判定した部分を対象物候補領域から除いて、上記対象物抽出手段が設定した所定の範囲内にある対象物パラメータを、対象物の候補領域を示すパラメータとして設定し、対象物候補領域から対象物パラメータを決定する対象物推定手段
を備える請求項１又は４記載の対象物の認識システム。
【請求項９】
上記対象物抽出手段が静止している対象物として抽出した対象物領域における対象物パラメータの時間的な相関度からその存在範囲に応じて高中低を判定する判定手段と、
上記判定手段が高いと判定した場合、対象物は静止物体であると判断し、中程度と判定した場合、対象物は小さな動きを伴う動体であると判断し、低いと判定した場合、対象物のデータを一時的に乱すものと判断する対象物判断手段と、
を備える請求項１から８の何れかに記載の対象物の認識システム。
【請求項１０】
請求項１から９の何れかに記載の対象物の認識システムを用いた監視システム。
【請求項１１】
請求項１から９の何れかに記載の対象物の認識システムを用いた見守りシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
地下鉄、駅、空港等の公共の場における、拳銃、刀等の不法所持者、テロリスト、尾行、スリ、喧嘩等怪しい人物（不審者）の発見と追跡及び不審物の発見等セキュリティ確保のための監視システム、あるいは家庭や学校等建物内における老人や子供、病人等の見守りシステム等に必須の技術として、人の姿勢・動作・動きや持ち主不在の物体を検出及び認識して、異常を検知するためのセンサー情報処理技術を用いた監視システム及び見守りシステムに関する。
【背景技術】
【０００２】
従来の監視システムはほとんどが固定的に設置された監視カメラを使用したものが大半である。一方、携帯型センサーを用いた老人や子供の見守りシステムに関するものとしては、GPS搭載の携帯電話を子供に持たせたものがある程度で、他には見当たらない。ほとんどの従来型監視技術は一つのメディアタイプ（主には、ビデオカメラ）だけを用いており、広い範囲はカバーできても、不審者、不審物の発見や異常事態の検出は人の目視に頼らざるを得なかった。本発明は、これらの欠点を補強し、信頼性の高い自動監視システム及び見守りシステムの実現を目指したものである。
【０００３】
不審者、不審物の発見には監視カメラ以外では、空港等におけるX線検査や係官による目視によるもの、発熱を感知するサーモグラフィ検査、顔写真や指紋照合によるもの等が代表的なものである。過去の研究では画像処理アルゴリズムを用いた静止物体や特定の動きをする人の自動検出については、それほど複雑でない比較的安定した環境の中での動作認識（歩く、走る、転倒等）に限られており、実用的な24時間自動監視システム及び見守りシステムを実現できるレベルには至っていない。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Teddy Ko, “A survey on behavior analysis in video surveillance forhomeland security applications,” 37th IEEE Applied     ImageryPattern Recognition Workshop, Washington, DC, USA,pp.1-8, Oct. 15-17, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視システム及び見守りシステムには以下に示す問題点があった。すなわち、対象となる静止物体の検出には、背景差分が多く用いられるが、そのためには正確な背景が必要であり、よく用いられる観測開始時のデータを固定的に利用する方法や、単に一定時間内の移動平均を利用する方法では、動物体による遮蔽や影、反射あるいは照明条件の変動等の影響があると誤差が大きくなるという問題があった。
【０００６】
また、照明変動や対象物の周りの移動物体による遮蔽等の影響を受けて、検出に失敗（未検出及び誤検出）することがよくあり、このような観測値の欠落やノイズ等に起因して、対象物が存在しているのに検出できなかったり、存在していないのに誤検出したりする問題と、本来は一つであるべき対象物領域が分離されて抽出されたり、複数個の対象物が一つの領域として検出されたりして、後処理が困難になると言う問題があった。
【０００７】
さらに、背景差分から求められた対象物の位置に関してもノイズの影響等により精度が低下するという問題があった。
【課題を解決するための手段】
【０００８】
本発明は、このような問題点を解決するために提案された対象物の認識システムであって、一定時間内、監視領域及び／又は見守り領域を観測する観測手段と、上記観測手段の観測によって得られた、背景を反映する背景パラメータが、所定の範囲内に所定の閾値以上で存在しているか否かを判定する背景判定手段と、上記背景判定手段が所定の閾値以上で存在していると判定した場合、上記所定の範囲内にある背景パラメータを、背景候補領域を示すパラメータとして設定することで、背景を抽出する背景抽出手段と、上記観測手段の観測によって得られた、対象物の存在位置を反映する対象物の存在位置パラメータが、所定の範囲内に所定の閾値以上で存在しているか否かを判定する対象物判定手段と、上記対象物判定手段が所定の閾値以上で存在していると判定した場合、上記所定の範囲内にある対象物存在位置パラメータに対応する対象物パラメータを、対象物候補領域を示すパラメータとして設定することで、対象物を抽出する対象物抽出手段と、を備える。
【０００９】
「所定の閾値以上」の判定のために、該パラメータが多く存在していることを示すものであればよく、「所定の割合以上」あるいは「所定の個数以上」あるいは「所定の累積値以上」あるいは「該パラメータが多く存在するある一定の範囲内にある」のどれかの基準を用いて判断してもよい。背景及び／又は対象物の内容あるいは属性を反映するパラメータの代表的なものには、背景や対象物そのものを反映するパラメータとして背景パラメータ（例えば、画素値）、対象物パラメータ（例えば、画素値）、対象物の存在を反映するパラメータとして対象物存在位置パラメータ（例えば、領域重心）、対象物の動きを反映するパラメータとして対象物の重心の動き、等がある。
【００１０】
また、上記背景判定手段が所定の閾値以上で存在していないと判定した部分を背景候補領域から除いて、上記背景抽出手段が設定した所定の範囲内にある背景パラメータを、背景の候補領域を示すパラメータとして設定し、背景候補領域から背景パラメータを決定する背景推定手段
を備えてもよい。
【００１１】
さらに、上記対象物判定手段が所定の閾値以上で存在していると判定した場合、上記対象物抽出手段が設定した所定の範囲内にある対象物存在位置に対応するパラメータを、上記対象物判定手段の対象物の候補領域を示すパラメータとして設定し、求められた領域に対応する対象物パラメータを求める対象物抽出手段とを備えてもよい。
【００１２】
本発明によれば、適応的に背景を抽出及び更新することで、どのような状況にあっても安定的に高精度な背景を得ることができる。また、照明変動や対象物の周りの移動物体による遮蔽等の影響を受けても、検出に失敗することなく、このような観測値の欠落やノイズ等に起因して、対象物が存在しているのに検出できなかったり、誤検出したりする問題を解消することができる。
【００１３】
異なる時点における対象物存在位置パラメータを重なり合わせた場合、重なり合わせたパラメータが所定の閾値以上であるか否かを判定する重なりパラメータ判定手段と、上記重なりパラメータ判定手段が所定の閾値以上であると判定した場合、その閾値以上のパラメータに対応する領域を対象物領域として抽出する対象物領域抽出手段と、を備えても良い。
【００１４】
対象物抽出手段が静止している物体として抽出した対象物領域において対象物が出現してから現在に至るある一定時間内におけるフレームの領域パラメータの相関度が、第１の閾値以上であるか、第１の閾値以下で第２の閾値以上であるか、第２の閾値以下であるかを判定する判定手段と、上記判定手段が第１の閾値以上であると判定した場合、対象物のデータを一時的に乱すものと判断し、第１以下で第２の閾値以上であると判定した場合、対象物は静止物体であると判断し、第２の閾値以下であると判定した場合、対象物は小さな動きを伴う動体であると判断する対象物判断手段とを備えてもよい。
【００１５】
検出された対象部が完全に静止しているか、微妙に動いているかを知ることができれば、人か物かの識別に役立つ。ここでの相関度は、正規化相関係数を想定して０〜１の間の値を持つものとして説明したが、距離を用いる場合等では大小を逆にする必要がある。
【００１６】
本発明の対象物検出システムは、不審者の発見と追跡及び不審物の発見等セキュリティ確保のための監視システムや、家庭や学校等建物内における老人や子供、病人等の見守りシステム等に利用することができる。
【発明の効果】
【００１７】
本発明によれば、どのような状況にあっても安定的に高精度な背景を得ることができる。また、照明変動や対象物の周りの移動物体による遮蔽等の影響を受けても、検出に失敗することなく、このような観測値の欠落やノイズ等に起因して、対象物が存在しているのに検出できなかったり、誤検出したりする問題を解消することができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態における処理手段を含むシステム全体の構成図
【図２】本実施形態におけるシステム全体の処理フローダイアグラム
【図３】本実施形態における背景の求め方を示す図
【図４】バウンディングボックスに関連するパラメータを示す図
【図５】対象となる静止物体の検出方法を示す図
【図６】バウンディングボックスを用いた静止物体の検出方法を示す図
【図７】一定の動きをする対象物の検出方法を示す図
【図８】持ち主不在の不審物の検出過程を示す処理ブロック図
【図９】対象となる静止物体の別の検出方法を示す図
【図１０】検出された静止物体の状態を識別する方法を示す図
【図１１】静止物体の微小な動き検出のための領域分割方法を示す図
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、図面と数式に基づいて説明する。図１は、本実施形態における処理手段を含むシステム全体の構成図である。本システム１００は、一定時間内、監視領域及び／又は見守り領域を観測する１又は２以上のセンサー１０１、１０２と、センサー１０１、１０２から受信したデータを分析統合する制御手段１０３を備えている。センサー１０１、１０２は、一定時間内に、背景や対象物の存在を観測する観測手段としての機能を有し、固定センサー１０１、携帯センサー１０２等で構成される。
【００２０】
一定時間内、監視及び見守り対象となる場面を観測する観測手段として、次に挙げるセンサーを用いてもよい。センサーの種類は、「０次元：位置計測GPS、温度、湿度」、「１次元：加速度計（３軸）、角加速度計（３軸）、傾斜計（３方向、角加速度計に含ませ得る）、マイク（音響）」、「２次元：通常の可視光カメラ、近赤外線カメラ、遠赤外線カメラ、サーモグラフィ」、「３次元：３次元データ（レンジセンサー、３次元位置センサー、３次元モーションセンサー、３次元測距センサー）」等から選ばれる。ここでは、本来の使用目的と直感的な分かりやすさのために主に画像を用いて説明するが、その他のメディア（３次元データ等）等の観測データから対象物を認識する場合にも同様に適用できる。また、種々の変動等に対応するために０次近似だけでなく、線形近似あるいは高次近似等も使え、誤差を最小にするために、最小二乗平均誤差（LMS: Least Mean Square)、あるいは最大誤差を最小にして最適値を得る手法等も必要に応じて使い分ければよい。
【００２１】
制御手段１０３は、センサー１０１、１０２から取得した画像等に基づいて背景を抽出するための背景判定手段、背景抽出手段、背景推定手段や、対象物を抽出するための対象物判定手段、対象物抽出手段、対象物存在位置推定手段を備えている。これらの手段は、具体的には例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等を備えたパーソナルコンピュータで構成され、ＣＰＵが、ＲＯＭやＨＤＤ等に記憶されているプログラムを実行することで、各手段としての機能が果たされる。
【００２２】
各手段について説明する前に、まず本実施形態の対象物認識システム（又は監視システム、見守りシステム）におけるシステム全体の流れについて簡単に説明する。図２は、本実施形態におけるシステム全体の処理フローダイアグラムである。まず、観測に入る前に初期値としての背景を求める。ここで、背景とは、人、物に関わらず、観測開始より前から観測が始まってからも一定期間静止しているものを意味し、初期背景とは観測開始時の背景、短時間背景と長時間背景は静止時間の長短により区別する。すなわち、途中から現れても、ある一定時間以上場面中に存在し、静止し続けているものを指すこともあるが、短時間背景と長時間背景はどのくらい長い時間場面内で静止している物を静止物体として検出したいのかによって使い分ける。
【００２３】
図２に示すように、センサー２００からのデータを受けとり（Ｓ２０１）、背景の抽出と更新をする（Ｓ２０２）。まず、背景差分やフレーム間差分等により対象物領域を抽出し（Ｓ２０３）、さらに位置と大きさの微調整を行い（Ｓ２０４）、セグメンテイションを行い（Ｓ２０５）、領域特徴を抽出する（Ｓ２０６）。３次元実空間上での位置推定を行い（Ｓ２０７）、対象となる静止物体や一定の動きをする動物体の姿勢・動作の認識、不審物の検出を行う（Ｓ２０８~Ｓ２１３）。具体的には、物か、人かの判別を行い（Ｓ２０８）、物ならば不審物と判断して（Ｓ２０９）、この不審物を持ってきた人の追跡を始める（Ｓ２１０）。人ならば姿勢・動作の認識結果から異常事態の検出を行い（Ｓ２１１、Ｓ２１２）、異常が発見されたら通報等の対応をする（Ｓ２１３）。これらの手順により一連の処理を終わるが、監視・見守り時間中は上の処理を繰り返す。
【００２４】
次に、本実施形態における背景の求め方について、図３を用いて説明する。図３は、本実施形態における背景の求め方を示す図である。図３では背景を反映する背景パラメータとして画素値を選んでいるが３次元データ等を選ぶこともできる。一定時間内の画素値が所定の範囲の外にある領域は遮蔽や影、反射や照明条件の変動等による一時的な変化として検出し、その部分はデータが一時的、部分的に欠落したものとして除いた部分の値（画素値等）を用いて更新すること又は一定の割合で変動する照明条件等に関してはその変動を近似することで更新する。具体的には、まず背景判定手段によって、背景を反映する画素値が、所定の範囲内に所定の閾値以上で存在しているか否かを判定する。例えば、各画素の時間変化を求め、一定範囲内に画素値が存在するか否かを判定する。存在すると判定した場合は、背景抽出手段がその画素値を用いてその位置での画素の背景値を計算する。
【００２５】
これに対して、データを一時的に乱すもの（例えば、動物体による遮蔽や影、影、反射や照明条件の変動等）により、背景判定手段が画素値が所定の閾値以上で存在しない時間帯と判定する場合もある。このような場合には、背景推定手段により、所定の範囲内に所定の閾値以上で存在する画素値のうち、次のような手段のどれかを用いて最適な値を選んでその位置、その時間帯での画素の背景値とすることもできる。ここで、最適な値を決めるために、重み付き移動平均値（単なる平均値も可）、中央値、ヒストグラムのピーク値、出現頻度の高い値等を用いてもよい。
【００２６】
このようにして、データを一時的に乱すものを検出しそれを除去して一定時間の画素値の線形近似等を用いることで、背景の変動に対応することができる。本方法は、センサーデータや３次元データ等、画像以外のメディアにも適用可能である。対象物が場面内でどのくらい長い時間静止していれば静止物体とみなすか、は必要性に応じて時間間隔を制御することによって決めることができる。背景差分を利用する際には、正確な背景が得られることが前提であり、背景更新が効果的に働くためには、動物体領域が精度よく抽出され、照明変動等がそれほど激しくなく、影等の影響も少ないことが望ましい。また、対象物が場面上に現れて静止し始めた時刻及び静止を終えた時刻も分かる。
【００２７】
各フレームの領域パラメータの相関行列の固有値の大きいものから順番に累積寄与率がある一定の値以上になるまで選び出し、それに対応する固有ベクトルを用いて投影・逆投影して抽出された領域を遮蔽、動物体、あるいは照明変動とみなして、背景の候補領域から除外して残りの領域を背景候補領域として求めてもよい。相関行列を求める際に、各フレームが1次元データでなく、２次元や３次元の場合は、配列を並べなおすことによって１次元化する手法を使ってもよい。
【００２８】
次に、対象物を認識する手順について説明する。対象物とは静止物体あるいは一定の動きをする物体で検出・認識の対象となっているものであり、人と物を含む。ここで、対象物存在位置パラメータは、対象物の存在位置を反映するパラメータのことで、対象物のシルエットやバウンディンボックスの重心や領域の最大値、最小値、背景差分の絶対値や後述する動き測度等も含む。動き測度は対象物の位置と対応させて用いる。対象画像を例に取ると、存在位置パラメータに対応する画像上の領域を求めると対象物の存在位置や大きさを知ることができる。パラメータの検出には上述の方法で得られた背景を利用してもよい。また、対象物パラメータは対象物を反映するパラメータ、背景パラメータは背景を反映するパラメータのことで、具体的な例として画素値や３D位置データ等である。両方を総称して領域パラメータという。
【００２９】
バウンディングボックスは、図４に示すように、理想的にはある対象物を囲む最小の長方形、あるいは直方体領域のことであるが、必ずしも最小のものが抽出できるとは限らない。また、存在位置パラメータとして用いる重心の代わりに対象物候補領域の位置を表すパラメータであれば、他の値で置き換えることも可能であり、例えば、バウンディングボックスの左上隅の点の位置、最上点、最下点等を選ぶことも可能である。シルエットとは、背景差分等によって抽出された対象物（人、物）領域を白黒で表現したものである。３次元データは、３次元空間上の距離画像データ等を総称していい、レンジセンサーや、対象物までの距離を計測することにより３次元データが得られる３次元測距センサー等から取得することができる。
【００３０】
図５は、対象となる静止物体の検出方法を示す図である。この図において、対象物存在位置推定手段が対象物存在位置パラメータとしてバウンディングボックスの重心のx座標を用いて対象物の存在位置を推定する。その後、対象物領域抽出手段が推定されたパラメータを持つバウンディングボックスの共通部分あるいはある閾値以上の重なりがある部分を対象物領域として抽出する。図６は、バウンディングボックスを用いた静止物体の検出方法を示す図である。さらに、静止物体と判定するための時間を制御できることを示している。また、一定の動きする動物体の検出のためには、その動きと位置を反映するものであれば何でもよく、例えば、対象物の動きの周期性、アスペクト比、モーメント比、速度、加速度、角加速度、傾斜角、移動効率（詳細は後述する）等も利用できる。図７は、本実施形態における一定の動きをする動物体の検出方法を示している。この図では、動きパラメータの違いから、対象者が急に異なる動きをしたことも検知できることを示している。以下、本実施形態における対象物の検出手順（ステップ１からステップ５）について詳細に説明する。
【００３１】
（ステップ１）の処理について
ある一定時間内（T）の観測により、対象物抽出手段が、対象物の存在（位置、動き）を反映しているパラメータの値を算出する。
【００３２】
（ステップ２）の処理について
観測値に欠落があり得ることを想定しているので、得られたパラメータは、連続して存在しているとは限らず、値に変動もあり得る。そこで、ある一定の上下幅±δを設け、この範囲内での変動は許容する。具体的には、対象物判定手段が、±δの範囲内に、ある閾値以上のパラメータの値が集中しているか判定する。集中していれば（≧kT、0<k<1）、対象となる静止物体の候補領域とする。実係数kは欠落をどの程度許容するかによって決められる。閾値δは対象物の観測パラメータの変動の平均値を基準に決められるが、再現率（recall rate）を高めるために少し余裕を持って大きめに設定することもできるが（10%〜30%程度）、一般には適合率（precision rate）が低下するので、その時々の要求に合わせて決める。また、中央値を採用してもよい。
【００３３】
（ステップ３）の処理について
このステップ３では遮蔽と判断される場所（すなわち、対象物判定手段が集中していないと判定した場合）は、対象物更新手段は、集中していないと判定されたパラメータを計算から取り除き、ステップ２で求められたパラメータを基に再計算することにより誤差を減少させることができる。そうすることで、位置の推定精度が向上し、より精度の高い候補領域が検出でき、位置を反映するパラメータの精度も向上する。この処理（ステップ３）はオプション（選択）であり、１回目の処理でパラメータが安定的に精度よく求められていれば、スキップしてもよい。
【００３４】
（ステップ４）の処理について
必要に応じて、上のステップを繰り返した後、対象物が検出されれば、形状測度や動き測度を用いて、人か物かの識別ができるが、同時に、人であれば姿勢・動作認識等により不審物・不審者の検出が可能となる。ここで、形状測度とはモノの形を計るモノサシのことで、例えば、形そのもの、大きさ、円形度、伸長度、縦横高さ、モーメント、アスペクト比、モーメント比、輪郭線、フーリエ記述子、ヒストグラム、HOG等がある。また、HOG（Histgrams of Oriented Gradients）特徴量は勾配ベースの特徴量であり、フーリエ記述子（Fourier
Descriptor）は物体の境界曲線の形状を表す特徴量となる。動き測度とは、動きの違いを図るモノサシのことで、速度、加速度、角加速度、傾斜角、移動効率（例えば、ＳＲ、ＤＲ）等がある。ここでは、人以外の静止物体で持ち主不在のものを不審物とみなす。
【００３５】
（ステップ５）の処理について
上で不審物が検出された場合、誰かが運んできたものであれば、当該不審物と観測時間内のどこかで、人と不審物との位置パラメータが共通部分を持つか接近するはずであり、その時点から不審物を運んできた人の追跡が可能となる。時間を遡れば、その人がどちらから来たかの情報も得ることができる。また、不審な行動が検出された場合、その人の追跡を始めることができる。
【００３６】
上記のステップをとることで、対象となる物体が静止物体であるにも関わらず、静止物体であると判定するためには連続した時間が不足している場合にも、断続的なデータを加える（>閾値）ことで検出が可能となる。対象となる静止物体とは、人、物を問わず、ある時刻、例えば、最初観測を始めた時には観測場面に存在していなくて、それ以後、途中から場面中に存在し、静止し続けているものを指す。例えば、誰かが置き忘れたもの、故意に置いて行ったもの、および歩いてきて椅子に座っている人等を指す。観測の最初から存在していたものは対象としない。また、途中から現れても、ある一定時間以上場面中に存在し、静止し続けているものを指すこともある。
【００３７】
図５は、バウンディングボックスの重心（x座標）をパラメータとして用いたときの処理の様子を例示的に示したものである。ここでは直感的な分かりやすさのために画像を用いて説明するが、その他のパラメータ（３次元データや加速度センサー等）の観測データに欠落がある場合にも同様に適用できる。また、誤差を最小にするために、一般には線形近似を行い最小二乗平均誤差、あるいは最大誤差を最小にして最適値を得る手法が多く用いられるが、種々の変動等に対応するために０次近似だけでなく、高次の近似等を使ってもよい。また、BB21、BB22、BB31 はBB1（動き予測も含む）に含まれ、あるいは含まれる共通部分がある一定以上あり、BB21とBB31 はある一定以上静止状態にあるので、対象となる静止物体であることが判明し、時刻t4で他の人による遮蔽が発生した後、時刻t5にBB5として再度単体で現れている。この後は、人か物かの判断が必要であり、物であると不審物と判断される。時刻t1〜t3まで遡り、当該不審物を運んできて立ち去った人物BB32が不審者として特定されるので追跡を始めてもよい。ここで、BBはバウンディングボックスを、（Gx, Gy)はその重心を表す。画像を例に取ると、パラメータに対応する画像上の領域を求めることで対象物の存在位置や大きさを知ることができる。
【００３８】
以下、図６を参照しながら、バウンディングボックスを用いた静止物体の検出手順について説明する。初めに共通集合を求める。具体的には、まず、決められた時間内で各ピクセルに、バウンディングボックスBBのID番号を投票する。つづいて、ID番号毎に、時刻t0に至る長時間フレーム数Fl の間でピクセル内で投票数V1 (ID,x,y;t0,Fl)を集計する。そして、ID番号とは無関係に時刻t0に至る短時間フレーム数Fs の間でピクセル内で投票数V2(x,y;t0,F)を集計する。ID番号が正しく特定できる場合には、V1 (ID,x,y;t0,F)を、特定できない場合にV2(x,y;t0,F)を用いることができる。
【００３９】
次に、得られた集計結果から得票数の多い画素を静止物体の候補領域とする。例えば、V1(ID, x, y; t0, Fl ) ＞ k1×Fl（k1=0.1）の領域を対象となる長時間静止物体の候補領域とし、 V2(x, y; t0, Fs ) ＞ k2×Fs（k2=0.7）の領域を対象となる短時間静止物体の候補領域とする。共通集合から、このような処理を行うことによって対象となる静止物体を検出することができる。
【００４０】
次式は、よく使われる形状特徴として一般に用いられているモーメントの定義を示すが、ある点、又はある軸の回りの分散を表現できるパラメータであれば、本文中のモーメントの代わりに用いることができる。例えば、ある軸に沿ってのヒストグラムの分散等を用いることもできる。
【数１】
2011198244.tif 000003
【００４１】
重心回りのモーメントを次式のように表す。
【数２】
2011198244.tif 000004
【００４２】
重心を通る垂直軸、水平軸回りモーメントを次式のように表す。
【数３】
2011198244.tif 000005
【００４３】
ここで、全てのモーメントに関するパラメータは単独で用いることもできるが、比（(4), (8)）を用いた方が効果が高い。上の２種類のモーメントに関するパラメータにおいて、(2), (3), (6), (7) のモーメント計算においてここでは上下に分けたが、人の検知に使うときには、高さの比を設定し、その比で、頭、胴体、脚の３つの部分（腰を中心に２つに分けることも可能、何らかの意味のある部分に分ける）に分けて、それぞれの範囲で計算する（各区間の高さ：k1*H〜k2*H、0≦k1＜k2≦1）。このようにすると一部分遮蔽があっても、見えている部分を利用でき、ある程度の判断ができるので、遮蔽に強い頑健なシステムが構築できる。
【００４４】
また、次に動き測度として用いられるものを挙げる。
【数４】
2011198244.tif 000006
【００４５】
以上は２次元上での話であるが、３次元空間上でも同様に定義することができる。ここで、移動効率は、第一義的にはどれだけ効率的に移動したかを示すパラメータであって０〜１の範囲の値をとり、具体的には、変位距離に対する走行距離の比（以下、ＳＲという）やT フレーム前の位置と現在位置との差とその間に移動した総距離の比（以下、ＤＲという）等を用いることもできる。また、手足の不用な動きや不規則性、腰を曲げたり、頭、首を振る等の無駄な動作、上半身、下半身の動作から意味のない動作を抽出してその割合を用いることもできる。ＳＲ及びＤＲは、式(8)、(9)の逆数を用いて定義されることもあるが、ここでは０から１の範囲の値をとる（0≦SR≦1、0≦DR≦1）ように上式のように定義する。なお、一般にフレームは画像を意味するが、３次元データ等その他マルチメディアコンテンツにも適用できる。コンテンツは、センサーから得られたデータの総称をいい、コンテンツが時間的に変化する場合に各時刻におけるデータをフレームという。例えば、動画を例に取ると、複数枚のフレーム（静止画）が集まって一つの動画を構成する。一般にはフレームは画像に用いられる場合が多いが、ここではその他のコンテンツにも同じ用語を用いることにする。
【００４６】
本実施形態では、静止物体の検出方法は、対象物の存在位置を反映するパラメータの計算やバウンディングボックスの抽出等も必要とせず、直接対象となる静止物体の候補領域が検出できることを特徴とし、次の手順による。まず、背景差分の絶対値等の結果を、そのまま用いるか、あるいは２値化して対象物の候補領域をシルエットとして求め、その重なりがある閾値以上である部分を対象となる静止物体の候補領域とする。重なり判定手段は、各画素において背景差分の絶対値又は絶対値の２値化画像又はシルエットの値の累積値から重なりの程度を判定し、その値が所定の閾値以上であれかば候補領域とする。このときにフレーム数で割る等の正規化をしてもよい。
【００４７】
図８は、対象物の存在位置パラメータとして背景差分の絶対値を用いて、駅のプラットフォームにおける持ち主不在の不審物の検出結果を示す。この図においては、重なりパラメータ判定手段は、 (1)シルエット領域の濃淡値の累積値、又は(2)シルエットを２値化した後の重なりフレーム数（値１を持つフレーム数）、のどちらかを用いて重なり程度を判定する。次に、対象物領域手段がその値が所定の閾値以上であれば対象物領域として抽出する。同図(b)は、同図(a)の途中フレームの拡大図にシルエットを用いた結果を示したものである。本来は背景部分にデータは存在しないが、分かりやすさのために半透明で表示している。同図(c)は、閾値の設定により検出する対象物の静止時間の制御ができることを示している。一般に、人に比べて荷物は小さく、形状は長方形でアスペクト比が大きいものが多い。３次元空間上での大きさに換算してある程度以下の大きさのものは人でないと判断できるが、ゴルフバッグやスーツケースは人と間違って認識されることがあり、単純な方法だけでは区別がつきにくい場合があるので、詳細の区別が必要なときは形状測度やその他の手法を合わせて使ってもよい。同図(d)は、このことを示している。バウンディングボックス等の抽出を必要としない静止物体の一般的な検出方法を図９に示す。図９において、対象物の存在位置パラメータとして背景差分の絶対値を用いた場合に、そのままの値を用いる場合と、２値化後の値（シルエット）を用いる場合と、があり、どちらも集計後はある閾値を設定して領域抽出を行い、さらに領域パラメータを求める。
【００４８】
対象となる静止物体が抽出された後の処理については、上記のステップ４、ステップ５と同じである。候補領域の抽出には背景差分等を用いるが、センサーは固定的に設置されていることを前提にしているので、大きな環境の変化はないものと考えられるが、照明条件等の変動による画像の明るさ等の変化に対応するためには前述の手順に沿って背景の更新を行った方がよい。同様の手法は３次元データにも適用できるが、その場合は画素の代わりにボクセルを用いてもよい。ここで、ボクセルは、２次元デジタル画像を構成する単位のピクセル（画素）に対して、厚み情報を加えた３次元デジタル画像を構成する単位のことで、厚みを持った粒子として表現される。
【００４９】
図１０は、本実施形態における、検出された静止物体をさらに完全に静止しているものか、少し動くものか、あるいは動物体による遮蔽や影、反射あるいは照明変動の影響等による一時的な影響かを識別する原理を示した図である。ここでは、相関度として対象物候補領域における対象物パラメータの時間的な相互相関係数を用い、ある適当な閾値を設定し、相互相関係数が、Th1〜１ならば物、Th2~Th1の部分が存在すれば人、それ以外、すなわち０〜Th2ならば、一時的にデータを乱すもの、例えば遮蔽や影、反射あるいは照明変動の部分と判断する様子を示している。このように対象物が検出された後で、一般に物は完全に静止しており、人は微妙に（局所的に少し）動くことを利用して、人と物を区別できる。この図においては、対象物抽出手段が抽出した対象物領域における対象物パラメータの時間的な相関度が閾値のどの範囲にあるかを判定し、その後対象物判断手段が完全に静止した物体と小さな動きを伴う人（一般に人は完全に静止していない）を区別する様子を示している。
【００５０】
また、動きの範囲を広く取るために抽出され対象物候補領域を少し拡大して用いてもよく、その領域内で時間的な相互相関係数を計算し、「ほぼ変化なし、即ち相互相関係数が１に近いまま」であれば、完全に静止した物体であり、「たまに変化するか1秒に数回以内の動き」であれば、人の可能性が高い。ただし、非常に大きな変動があって後に元に戻った場合は、一時的、部分的なものの影響であり、例えば、遮蔽や影、反射あるいは照明変動等の影響であると考えられ、元に戻らなかった場合は対象物が移動したと考えられる。相互相関係数を計算する領域として、精度は低下するがシルエットの代わりにバウディングボックス等を用いてもよいし、対象データとして原画像そのものでなく微分処理をしたエッジ画像等を用いてもよい。
【００５１】
また、対象物候補領域が大きく、その一部が小さく動く場合には、相互相関係数が１に近くなり、検出が難しくなる場合があるので、そのときには対象物候補領域をさらに小領域に分割して各領域毎に相互相関係数を計算することで検出が容易になる。分割の手法としては、できるだけ面積が均等になるように分割した方がよい。そのために、例えば、垂直ヒストグラムを用いて上下の領域の面積が等しくなるように分割位置を決め、さらに上下に分割された各領域における水平ヒストグラムを用いて左右の領域の面積が等しくなるように分割位置を決めることで面積が等しい４つの領域に分割することができる。上下左右の分割の順序を入れ替えて分割してもよい。また、分割領域の境界部分が動く場合には、重複した領域を用いてもよい。この様子は図１１に示されている。
【００５２】
また、フレーム間の違い、すなわち変化（動き）を反映するものであれば相互相関係数以外のもの、例えば、２乗平均誤差等を用いてもよい。本方式は簡単にしかも安定的に識別できることを特徴とするが、その原理からじっとして動かない人や後ろ向きで動きが分からない人は物と、微妙に動く物は人と区別できないので、他の手法と併用してもよい。基準となる画像の求め方は、シルエット領域において前述の最適な画素値を選ぶ方法、すなわち重み付き移動平均値（単なる平均値も可）、中央値、ヒストグラムのピーク値、出現頻度の高い値等を利用することができる。また、ある一定時間内でのシルエット領域内の分散から動きの程度を推定することもでき、明るさやコントラストの違いを吸収するための正規化をしてもよい。
【００５３】
相関度を計算する基準となる画像を求めるために、上記の変動する環境の中から背景や対象物を求める手段を用いてもよい。また、シルエットやバウンディングボックス領域内での誤差の標準偏差等を用いる際には、照明等による影響を受けにくくするために、領域内輝度値の平均値で割った値を用いてもよい。上記では相関度を各フレーム毎に求めたが、画素毎に時系列の中での違い、すなわち変化（動き）を反映するもの、例えば分散等を用いてもよい。「完全に静止している、少し動く、大きく変化する」の内、大きく変化する状態は対象物領域の明るさ等を用いても検出できる。また、対象領域が小さい場合は相関度の計算が不正確になる場合があるが、画像上の大きさを実空間に換算したときに、人の標準的な大きさに比べて極端に小さい場合は人ではあり得ないので、物と判断してもよい。
【００５４】
なお、パラメータの選定に関して、画像上の動きをそのまま用いたものより、３次元空間上での動きに変換した方が一般には検出及び認識精度が上がる。短い時間間隔で一定の動きを反映するパラメータが取得できれば、遮蔽が頻繁に発生しても検出が可能となる。遮蔽がそれほど頻繁に発生しない場合には、パラメータ取得のための時間間隔を大きく取れる。
【００５５】
以上に示すように、本発明によれば、人混みの多いところ等では、遮蔽が頻繁に発生し、照明変動の影響等種々の原因で観測値に欠落が生じることがあるが、そのような場合であっても不審物の発見、不審物を置き去りにした不審者を追跡できる。駅の改札口や空港等において、うろうろしている人、酔っ払っている人、あたりを窺う人、無賃乗車のために改札口で中腰になって通過する人や跳び上がる人、設定されたラインから離れて移動する不審な動きをする人、持ち主不在の不審物、の検出と不審者の追跡等のセキュリティ確保のための監視システムに利用できる。また、車載の遠赤外線カメラ画像を用いた歩行者検知にも役立つので重大事故の防止に役立つ。
【００５６】
家庭内、公共の建物内や通学路などにおいては、病人、子供や老人等が急に転倒したり、うずくまったり、したりの異常がないか、周辺に怪しい人がいないか、等を検知し通報する見守りシステムの構築に利用できる。
【符号の説明】
【００５７】
１００  ネットワーク
１０１  固定センサー
１０２  携帯センサー
１０３  制御手段
【図４】
2011198244.tif 000007
【図９】
2011198244.tif 000008
【図１０】
2011198244.tif 000009
【図１１】
2011198244.tif 000010
【図１】
2011198244.tif 000011
【図２】
2011198244.tif 000012
【図３】
2011198244.tif 000013
【図５】
2011198244.tif 000014
【図６】
2011198244.tif 000015
【図７】
2011198244.tif 000016
【図８】
2011198244.tif 000017