(57)【要約】【課題】時系列の入力画像内で起こる変化から、持ち込まれた物体、持ち出された物体、向きや位置の変位された物体を検出し、その物体を追跡する。【解決手段】時系列画像蓄積・再生手段２は、カメラ１から時系列に入力される画像を蓄積・再生する。基準画像生成手段３は、時系列画像から基準画像４を生成する。画像変化領域検出手段５は、基準画像４と時系列画像との差分から画像変化領域を検出する。画像変化原因判定手段６、その画像変化原因が、物体の持ち込み、または物体の持ち出し、または物体の向きや位置の変位により生じたのかを画像特徴を用いて判定する。物体画像抽出手段７は、画像変化領域から物体画像を抽出する。追跡開始フレーム決定手段８は、物体追跡開始時点を決定する。物体追跡手段９は、物体の画像特徴を用いて物体の持ち込み、持ち出し、変位の経路を追跡する。【選択図】  図１
2004362210.tif 000002
【特許請求の範囲】
【請求項１】
時系列入力画像内で起こる変化を検出し、持ち込まれた物体、持ち出された物体、あるいは、物体の向きや位置が変位された物体を判定し、その物体を追跡する物体追跡装置であって、
前記時系列入力画像を蓄積・再生する手段と、
前記再生された時系列画像から基準画像を生成する基準画像生成手段と、
前記生成された基準画像と前記再生された時系列入力画像との差分から画像変化領域を検出する画像変化領域検出手段と、
前記検出した画像変化の原因が物体の持ち込みにより生じたのか、または、物体の持ち出しにより生じたのか、あるいは、物体の向きや位置の変位により生じたのかを画像特徴を用いて判定する画像変化原因判定手段と、
前記検出した画像変化領域から物体画像を抽出する物体画像抽出手段と、
前記判定の結果をもとに物体追跡開始時点を決定する追跡開始フレーム決定手段と、
前記抽出された物体画像の画像特徴を用いて物体を追跡する物体追跡手段と、を有する
ことを特徴とする物体追跡装置。
【請求項２】
前記追跡開始フレーム決定手段は、判定の結果、物体の持ち込みの場合には物体が置かれた直後のフレームを、物体が持ち出された場合には物体が初期位置から動かされる直前のフレームを、物体の向きや位置が変位した場合には変位の直前のフレーム、あるいは、変位終了直後のフレームを、追跡の開始フレームとするものであり、
前記物体追跡手段は、物体持ち込みの場合には追跡開始フレームから時間と逆順に、物体持ち出しの場合には追跡開始フレームから時間順に、物体の向きや位置の変位の場合において追跡開始フレームを変位直前のフレームとした場合には時間順に、追跡開始フレームを変位終了直後のフレームとした場合には時間と逆順に物体を追跡するものである
ことを特徴とする請求項１に記載の物体追跡装置。
【請求項３】
前記再生された画像から動物体が入力画像に入ったフレームＦ１と、その動物体が入力画像から出たフレームＦ２を検出し、Ｆ１からＦ２の間を１サイクルとして、基準画像および物体追跡の切り替えを制御するサイクル決定手段を有する
ことを特徴とする請求項１または２に記載の物体追跡装置。
【請求項４】
前記物体追跡手段は、画像特徴として物体の色ヒストグラムを用いるものである
ことを特徴とする請求項１〜３のいずれかに記載の物体追跡装置。
【請求項５】
前記物体追跡手段は、物体の色ヒストグラムを、物体の初期色ヒストグラムと追跡する物体の色ヒストグラムを用いて更新する色ヒストグラム更新手段を有する
ことを特徴とする請求項４に記載の物体追跡装置。
【請求項６】
前記物体追跡手段は、追跡する物体の形状に関する情報を変化させる形状更新手段を有する
ことを特徴とする請求項１〜５のいずれかに記載の物体追跡装置。
【請求項７】
前記物体追跡手段は、現フレームでの物体の追跡範囲を、前フレームでの物体の近傍でかつ現フレームと基準画像とで変化がある領域とするものである
ことを特徴とする請求項１〜６のいずれかに記載の物体追跡装置。
【請求項８】
前記物体追跡手段は、追跡物体と連結する変化領域から、その物体を運搬している者を特定する画像を抽出し、追跡物体と関連付けて記録するものである
ことを特徴とする請求項１〜７のいずれかに記載の物体追跡装置。
【請求項９】
前記画像変化原因判定手段において、持ち出し、もしくは持ち込み、もしくは変位されたと判定された物体の画像を画像データベースとして蓄積する物体画像蓄積手段を有する
ことを特徴とする請求項１〜８のいずれかに記載の物体追跡装置。
【請求項１０】
前記画像変化原因判定手段において、持ち出し、もしくは持ち込み、もしくは変位されたと判定された物体情報に基づき、画像のどの位置にどの物体が存在するかを記録する物体位置記録手段を有する
ことを特徴とする請求項１〜９のいずれかに記載の物体追跡装置。
【請求項１１】
時系列入力画像内で起こる変化を検出し、持ち込まれた物体、持ち出された物体、あるいは、物体の向きや位置が変位された物体を判定し、その物体を追跡する物体追跡方法であって、
前記時系列入力画像を蓄積・再生する手順と、
前記再生された時系列画像から基準画像を生成する基準画像生成手順と、
前記生成された基準画像と前記再生された時系列入力画像との差分から画像変化領域を検出する画像変化領域検出手順と、
前記検出した画像変化の原因が物体の持ち込みにより生じたのか、または、物体の持ち出しにより生じたのか、あるいは、物体の向きや位置の変位により生じたのかを画像特徴を用いて判定する画像変化原因判定手順と、
前記検出した画像変化領域から物体画像を抽出する物体画像抽出手順と、
前記判定の結果をもとに物体追跡開始時点を決定する追跡開始フレーム決定手順と、
前記抽出された物体画像の画像特徴を用いて物体を追跡する物体追跡手順と、を有する
ことを特徴とする物体追跡方法。
【請求項１２】
前記追跡開始フレーム決定手順では、判定の結果、物体の持ち込みの場合には物体が置かれた直後のフレームを、物体が持ち出された場合には物体が初期位置から動かされる直前のフレームを、物体の向きや位置が変位した場合には変位の直前のフレーム、あるいは、変位終了直後のフレームを、追跡の開始フレームとし、
前記物体追跡手順では、物体持ち込みの場合には追跡開始フレームから時間と逆順に、物体持ち出しの場合には追跡開始フレームから時間順に、物体の向きや位置の変位の場合において追跡開始フレームを変位直前のフレームとした場合には時間順に、追跡開始フレームを変位終了直後のフレームとした場合には時間と逆順に物体を追跡する
ことを特徴とする請求項１１に記載の物体追跡方法。
【請求項１３】
前記基準画像生成手順の後に、再生された画像から動物体が入力画像に入ったフレームＦ１と、その動物体が入力画像から出たフレームＦ２を検出し、Ｆ１からＦ２の間を１サイクルとして、基準画像および物体追跡の切り替えを制御するサイクル決定手順を有する
ことを特徴とする請求項１１または１２に記載の物体追跡方法。
【請求項１４】
前記物体追跡手順では、画像特徴として物体の色ヒストグラムを用いる
ことを特徴とする請求項１１〜１３のいずれかに記載の物体追跡方法。
【請求項１５】
前記物体追跡手順は、物体の色ヒストグラムを、物体の初期色ヒストグラムと追跡する物体の色ヒストグラムを用いて更新する色ヒストグラム更新手順を有する
ことを特徴とする請求項１４に記載の物体追跡方法。
【請求項１６】
前記物体追跡手順は、追跡する物体の形状に関する情報を変化させる形状更新手順を有する
ことを特徴とする請求項１１〜１５のいずれかに記載の物体追跡方法。
【請求項１７】
前記物体追跡手順では、現フレームでの物体の追跡範囲を、前フレームでの物体の近傍でかつ現フレームと基準画像とで変化がある領域とする
ことを特徴とする請求項１１〜１６のいずれかに記載の物体追跡方法。
【請求項１８】
前記物体追跡手順では、追跡物体と連結する変化領域から、その物体を運搬している者を特定する画像を抽出し、追跡物体と関連付けて記録する
ことを特徴とする請求項１１〜１７のいずれかに記載の物体追跡方法。
【請求項１９】
請求項１１〜１８のいずれかに記載の物体追跡方法における手順を、コンピュータに実行させるためのプログラムとした
ことを特徴とする物体追跡プログラム。
【請求項２０】
請求項１１〜１８のいずれかに記載の物体追跡方法における手順を、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする物体追跡プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は物体追跡装置とその方法に係わり、特に時系列画像データから画像の変化した領域を検出し、その変化が物体の持ち込み、持ち出し、あるいは物体の向きや位置の変位に起因するものかを判定し、変化原因ごとに、その物体が持ち込み、持ち出し、あるいは、向きや位置の変位の過程を追跡する技術に関するものである。
【０００２】
【従来の技術】
自動車や人間等の移動物体を差分法などを用いて検出し追跡することは、例えば、特許文献１、特許文献２、特許文献３、特許文献４、特許文献５、特許文献６、特許文献７、特許文献８、特許文献９、特許文献１０に記載されているように広く行われている。これらの追跡技術では、移動物体そのものは分裂したり融合したりすることはないと仮定している。
【０００３】
【特許文献１】
特開平５−１９７８０９号公報「物体追跡処理装置」
【０００４】
【特許文献２】
特開平８−６３６０２号公報「物体追跡装置」
【０００５】
【特許文献３】
特開平１１−３２３２５号公報「物体追跡方法および物体追跡監視装置」
【０００６】
【特許文献４】
特開平１１−９６３７６号公報「移動物体追跡装置及び方法」
【０００７】
【特許文献５】
特開平１１−１３６６４号公報「動物体自動追尾装置」
【０００８】
【特許文献６】
特開２０００−３２２５８２号公報「移動物体追跡方法」
【０００９】
【特許文献７】
特開２０００−３４８１８１号公報「移動物体追跡装置」
【００１０】
【特許文献８】
特開２０００−４８２１１号公報「移動物体追跡装置」
【００１１】
【特許文献９】
特開２００１−６０２６３号公報「物体追跡方法及び物体追跡装置」
【００１２】
【特許文献１０】
特開２００１−６０２６９号公報「物体追跡方法及び物体追跡装置」
【００１３】
【発明が解決しようとする課題】
しかしながら、人間などにより物体の持ち込み、持ち出し、物体の向きや位置の変位が行われたとき、差分画像上では移動する差分領域が途中で２つに分裂し、その一方は移動する差分領域、他方は静止した差分領域となる。分裂後の移動する差分領域が人間を含むことは自明である。一方分裂後の静止した差分領域に物体が存在するのか、あるいは、物体の抜けた穴なのか、物体の向きや位置の変位が行われたためなのか、を判定することは自明ではなく、何を追跡すればよいかも不明である。物体監視等の状況を考えるならば、カメラの画面内で物体の持ち込み、持ち出し、変位が行われることは頻発する。このような状況では、前述の物体追跡技術では、物体の追跡ができない。
【００１４】
本発明は、前記従来技術の問題点を解決するためになされたものであり、時系列に入力される入力画像内で起こる変化より、持ち込まれた物体、持ち出された物体、向きや位置の変位された物体を検出し、その物体の持ち込み、持ち出し、変位の経路を追跡する装置とその方法を提供することが課題である。
【００１５】
【課題を解決するための手段】
本発明の上記課題を解決するため一手段は、時系列入力画像内で起こる変化を検出し、持ち込まれた物体、持ち出された物体、あるいは、物体の向きや位置が変位された物体を判定し、その物体を追跡する物体追跡装置であって、前記時系列入力画像を蓄積・再生する手段と、前記再生された時系列画像から基準画像を生成する基準画像生成手段と、前記生成された基準画像と前記再生された時系列入力画像との差分から画像変化領域を検出する画像変化領域検出手段と、前記検出した画像変化の原因が物体の持ち込みにより生じたのか、または、物体の持ち出しにより生じたのか、あるいは、物体の向きや位置の変位により生じたのかを画像特徴を用いて判定する画像変化原因判定手段と、前記検出した画像変化領域から物体画像を抽出する物体画像抽出手段と、前記判定の結果をもとに物体追跡開始時点を決定する追跡開始フレーム決定手段と、前記抽出された物体画像の画像特徴を用いて物体を追跡する物体追跡手段と、を有することを特徴とする物体追跡装置である。
【００１６】
あるいは、上記物体追跡装置において、前記追跡開始フレーム決定手段は、判定の結果、物体の持ち込みの場合には物体が置かれた直後のフレームを、物体が持ち出された場合には物体が初期位置から動かされる直前のフレームを、物体の向きや位置が変位した場合には変位の直前のフレーム、あるいは、変位終了直後のフレームを、追跡の開始フレームとするものであり、前記物体追跡手段は、物体持ち込みの場合には追跡開始フレームから時間と逆順に、物体持ち出しの場合には追跡開始フレームから時間順に、物体の向きや位置の変位の場合において追跡開始フレームを変位直前のフレームとした場合には時間順に、追跡開始フレームを変位終了直後のフレームとした場合には時間と逆順に物体を追跡するものであることを特徴とする物体追跡装置である。
【００１７】
あるいは、上記物体追跡装置において、前記再生された画像から動物体が入力画像に入ったフレームＦ１と、その動物体が入力画像から出たフレームＦ２を検出し、Ｆ１からＦ２の間を１サイクルとして、基準画像および物体追跡の切り替えを制御するサイクル決定手段を有することを特徴とする物体追跡装置である。
【００１８】
あるいは、上記物体追跡装置において、前記物体追跡手段は、画像特徴として物体の色ヒストグラムを用いるものであることを特徴とする物体追跡装置である。
【００１９】
あるいは、上記物体追跡装置において、前記物体追跡手段は、物体の色ヒストグラムを、物体の初期色ヒストグラムと追跡する物体の色ヒストグラムを用いて更新する色ヒストグラム更新手段を有することを特徴とする物体追跡装置である。
【００２０】
あるいは、上記物体追跡装置において、前記物体追跡手段は、追跡する物体の形状に関する情報を変化させる形状更新手段を有することを特徴とする物体追跡装置である。
【００２１】
あるいは、上記物体追跡装置において、前記物体追跡手段は、現フレームでの物体の追跡範囲を、前フレームでの物体の近傍でかつ現フレームと基準画像とで変化がある領域とするものであることを特徴とする物体追跡装置である。
【００２２】
あるいは、上記物体追跡装置において、前記物体追跡手段は、追跡物体と連結する変化領域から、その物体を運搬している者を特定する画像を抽出し、追跡物体と関連付けて記録するものであることを特徴とする物体追跡装置である。
【００２３】
あるいは、上記物体追跡装置において、前記画像変化原因判定手段にて、持ち出し、もしくは持ち込み、もしくは変位されたと判定された物体の画像を画像データベースとして蓄積する物体画像蓄積手段を有することを特徴とする物体追跡装置である。
【００２４】
あるいは、上記物体追跡装置において、前記画像変化原因判定手段にて、持ち出し、もしくは持ち込み、もしくは変位されたと判定された物体情報に基づき、画像のどの位置にどの物体が存在するかを記録する物体位置記録手段を有することを特徴とする物体追跡装置である。
【００２５】
あるいは、時系列入力画像内で起こる変化を検出し、持ち込まれた物体、持ち出された物体、あるいは、物体の向きや位置が変位された物体を判定し、その物体を追跡する物体追跡方法であって、前記時系列入力画像を蓄積・再生する手順と、前記再生された時系列画像から基準画像を生成する基準画像生成手順と、前記生成された基準画像と前記再生された時系列入力画像との差分から画像変化領域を検出する画像変化領域検出手順と、前記検出した画像変化の原因が物体の持ち込みにより生じたのか、または、物体の持ち出しにより生じたのか、あるいは、物体の向きや位置の変位により生じたのかを画像特徴を用いて判定する画像変化原因判定手順と、前記検出した画像変化領域から物体画像を抽出する物体画像抽出手順と、前記判定の結果をもとに物体追跡開始時点を決定する追跡開始フレーム決定手順と、前記抽出された物体画像の画像特徴を用いて物体を追跡する物体追跡手順と、を有することを特徴とする物体追跡方法である。
【００２６】
あるいは、上記物体追跡方法において、前記追跡開始フレーム決定手順では、判定の結果、物体の持ち込みの場合には物体が置かれた直後のフレームを、物体が持ち出された場合には物体が初期位置から動かされる直前のフレームを、物体の向きや位置が変位した場合には変位の直前のフレーム、あるいは、変位終了直後のフレームを、追跡の開始フレームとし、前記物体追跡手順では、物体持ち込みの場合には追跡開始フレームから時間と逆順に、物体持ち出しの場合には追跡開始フレームから時間順に、物体の向きや位置の変位の場合において追跡開始フレームを変位直前のフレームとした場合には時間順に、追跡開始フレームを変位終了直後のフレームとした場合には時間と逆順に物体を追跡することを特徴とする物体追跡方法である。
【００２７】
あるいは、上記物体追跡方法において、前記基準画像生成手順の後に、再生された画像から動物体が入力画像に入ったフレームＦ１と、その動物体が入力画像から出たフレームＦ２を検出し、Ｆ１からＦ２の間を１サイクルとして、基準画像および物体追跡の切り替えを制御するサイクル決定手順を有することを特徴とする物体追跡方法である。
【００２８】
あるいは、上記物体追跡方法において、前記物体追跡手順では、画像特徴として物体の色ヒストグラムを用いることを特徴とする物体追跡方法である。
【００２９】
あるいは、上記物体追跡方法において、前記物体追跡手順は、物体の色ヒストグラムを、物体の初期色ヒストグラムと追跡する物体の色ヒストグラムを用いて更新する色ヒストグラム更新手順を有することを特徴とする物体追跡方法である。
【００３０】
あるいは、上記物体追跡方法において、前記物体追跡手順は、追跡する物体の形状に関する情報を変化させる形状更新手順を有することを特徴とする物体追跡方法である。
【００３１】
あるいは、上記物体追跡方法において、前記物体追跡手順では、現フレームでの物体の追跡範囲を、前フレームでの物体の近傍でかつ現フレームと基準画像とで変化がある領域とすることを特徴とする物体追跡方法である。
【００３２】
あるいは、上記物体追跡方法において、前記物体追跡手順では、追跡物体と連結する変化領域から、その物体を運搬している者を特定する画像を抽出し、追跡物体と関連付けて記録することを特徴とする物体追跡方法である。
【００３３】
あるいは、上記物体追跡方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする物体追跡プログラムである。
【００３４】
あるいは、上記物体追跡方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体本発明では、上記の構成により、物体の持ち込み、持ち出し、変位があった場合に、その物体を追跡可能とし、また、その変化を引き起こした人物を検出可能とし、さらには記録可能とする。
【００３５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３６】
図１は本発明を適用した物体追跡装置の一実施形態例を示す。同図１に示すように、本実施の形態の物体追跡装置は、カメラ１により撮影され、時系列的に入力される画像を蓄積・再生する時系列画像蓄積・再生手段２と、入力画像から基準画像４を生成する基準画像生成手段３と、基準画像４と入力画像との差異部分を検出する画像変化領域検出手段５と、検出した画像変化の原因が物体の持ち込みにより生じたのか、または、物体の持ち出しにより生じたのか、あるいは、物体の向きや位置の変位により生じたのかを画像特徴を用いて判定する画像変化原因判定手段６と、画像変化領域から物体画像を抽出する物体画像抽出手段７と、物体追跡を開始するフレームを決定する追跡開始フレーム決定手段８と、追跡開始フレームから物体画像特徴を用いて物体を追跡する物体追跡手段９と、サイクル決定手段１０と、画像データベース１１から構成される。
【００３７】
時系列画像蓄積・再生手段２は、カメラ１により撮影された時系列画像の各画像に一連のフレーム番号を付与し、フレーム番号と画像を一対一に対応付けて蓄積する。他手段からの画像再生要求により、指定されたフレーム番号の画像を再生する。
【００３８】
図２は、図１に示した画像変化領域検出手段５の処理手順の一例を示すフローチャートである。このフローチャートは一つの入力画像に対する処理手順を示している。
【００３９】
先ず、基準画像４と入力画像の差分を計算し、閾値を用いて｛０、１｝の２値化画像を作成する（ステップＳ１１）。次に、２値化画像のごま塩雑音（ｓａｌｔ  ａｎｄ  ｐｅｐｐｅｒ  ｎｏｉｓｅ）を除去後、膨張、収縮処理等により微小なギャップを埋める（ステップＳ１２）。次に、２値画像のラベリング手法を用いて、連結領域を抽出する（ステップＳ１３）。一般には、このステップＳ１３において、複数の連結領域が検出される。なお、微小なノイズを避けるため、ある閾値以下のサイズの連結領域は検出しないようにすることも行われる。連結領域の情報は、フレーム番号とともに保存しておく。なお以下で変化領域はこの連結領域の個々を意味する。得られた変化領域の情報は他の手段が利用する。
【００４０】
図３は、図１に示したサイクル決定手段１０の処理手順の一例を示すフローチャートである。開始時点では、基準画像４が得られており、画像系列の最初は基準画像に一致するとする。
【００４１】
先ず、変化領域が検出されるまで時系列画像を順次読み込み、最初に変化領域が検出された画像のフレーム番号Ｆ１を記録する（ステップＳ２１）。通常、最初に検出される変化領域は人間等の動物体の領域である。次に、動領域がなくなるまで、時系列画像を順次読み込み、動領域が検出できなくなった最初のフレーム番号Ｆ２を記録する（ステップＳ２２）。動領域が無くなったことは、過去Ｋ（Ｋ≧１）フレームにおいて、変化領域の数、大きさ、位置に変化がなく、変化領域に人間が存在しないことにより判定する。変化領域に人間が存在するかどうかの判定手段については図１５のところで述べる。次に、画像変化領域手段５を適用して基準画像とフレーム番号Ｆ２の入力画像との各変化領域を求め、この各変化領域に対して画像変化原因判定手段６を適用して画像変化原因を求め、物体画像抽出手段７を適用して各変化領域の物体画像を抽出し、追跡開始フレーム決定手段８を適用して各変化領域毎に追跡開始フレームを決定し、物体追跡手段９を適用することにより各変化領域毎に物体追跡を行う（ステップＳ２３）。
【００４２】
図４は、図１に示した基準画像生成手段３の処理手順の一例を示すフローチャートである。
【００４３】
先ず、物体変化のない最初のＮ（Ｎ≧１）枚（ただし、Ｎ枚の画像系列中には物体変化がないようＮを選ぶ）の入力画像の平均画像を作成し、基準画像とする（ステップＳ３１）。次に入力画像に変化領域が検出されたかどうかを調べ（ステップＳ３２）、変化領域がなければ、基準画像を更新する（ステップ３３）。基準画像の更新（ステップＳ３３）は、例えば、基準画像と入力画像を（（Ｎ−１）／Ｎ）：（１／Ｎ）の重み付けで加算することにより得られる。照明等の変動がない環境の場合には、この基準画像の更新処理は省略しても差し支えない。ステップＳ３２でｎｏならば、人間等が動作中とみなして基準画像の更新は行わず、サイクル決定手段１０からの基準画像更新指示を待つ（ステップＳ３４）。サイクル決定手段１０から基準画像更新指示があると、フレーム番号Ｆ２後のＭ（Ｍ≧１）枚（ただし、Ｍ枚の画像系列中には変化領域がないよういにＭを選ぶ）から平均画像を作成し、基準画像に置き換える（ステップＳ３５）。
【００４４】
図５は、図１に示した画像変化原因判定手段６の処理手順の一例を示すフローチャートであり、色情報を利用する場合の処理手順を示す。
【００４５】
先ず、基準画像の変化領域の色ヒストグラムＨＲを作成する（ステップＳ４１）。色ヒストグラムとは、画像の色を量子化し、各色の出現頻度を求めてヒストグラムとする公知の手法である。例えば、カメラからの入力信号が、（Ｒ，Ｇ，Ｂ）の色信号とすると、（Ｒ，Ｇ，Ｂ）の各軸を８等分し、色空間を８×８×８＝２５６の小色区画に分け、各色区画に番号（色番号と呼ぶ）を付与する。入力画像の各画素が、どの色番号に属するかを調べ、色番号毎にそれに属する画素の出現頻度を積算したのが色ヒストグラムである。なお、色の表し方や、色空間の小区画への分割は、この例に限定されたものではない。同様に、図３に示したフレーム番号Ｆ２の入力画像（以下、入力画像と略す）の変化領域の色ヒストグラムＨＩを作成する（ステップＳ４２）。次に、色ヒストグラムＨＲとＨＩの類似度（Ｓｉｍ（ＨＲ，ＨＩ））がある閾値以上か否かを判断する（ステップＳ４３）。ステップＳ４３でｙｅｓならば、物体の変位と判定し、ｎｏならば物体の変位ではないと判定する。色ヒストグラムＨＲとＨＩの類似度（Ｓｉｍ（ＨＲ，ＨＩ））は下記（１）式により計算する。
【００４６】
Ｓｉｍ（ＨＲ，Ｈ１）＝Σｋｍｉｎ（ＨＲｋ，ＨＩｋ）  …（１）式
ここでＨＲｋ，ＨＩｋは、色番号（ｋ）に属する画素数であり、ｍｉｎは最小値を選択する関数である。
【００４７】
物体の変位の場合に、色ヒストグラムＨＲとＨＩの類似度（Ｓｉｍ（ＨＲ，ＨＩ））の値がとる傾向を図６を用いて説明する。ある背景に背景とは異なった色の物体が置かれていたとする。図６（１）に示す基準画像では物体は位置ａにあり、図６（２）に示す入力画像では物体は位置ｂにあり、物体の存在範囲が基準画像と入力画像でオーバーラップしていたとする。すると画像変化領域検出手段５により検出された変化領域は図６（３）に示すようになる。この変化領域に対する基準画像の領域の５０％以上は物体が占めており、同様に、この変化領域に対応する入力画像の領域の５０％以上は物体が占めている。従って、若干の変位で物体の色が大きく変化しない場合は、Ｓｉｍ（ＨＲ，ＨＩ）は変化領域の画素数の５０％以上と期待できる。変位量が少なければ少ないほど類似度は高く、物体の変位では下記（２）式に示す不等式となる傾向がある。
【００４８】
１≧Ｓｉｍ（ＨＲ，ＨＩ）／変化領域の画素数≧０．５  …（２）式
そこで、上記閾値としては、若干の余裕を見込んで、変化領域の画素数の４０％前後と設定することが多い。
【００４９】
ステップＳ４３で物体の変位ではないと判定した場合は、物体の持ち込みか、持ち出しかを判定する処理を行う。先ず、変化領域の周辺（変化領域は含まず、変化領域からある距離δ内の領域）の色ヒストグラムＨＳを作成する（ステップＳ４４）。次に、色ヒストグラムＨＲとＨＳの類似度Ｓｉｍ（ＨＲ，ＨＳ）と、色ヒストグラムＨＩとＨＳの類似度Ｓｉｍ（ＨＩ，ＨＳ）を比較して、物体の持ち出し、物体の持ち込みを判定する。即ち、Ｓｉｍ（ＨＲ，ＨＳ）とＳｉｍ（ＨＩ，ＨＳ）とが下記（３）式を満たす場合は、物体の持ち込みと判定する。またＳｉｍ（ＨＲ，ＨＳ）とＳｉｍ（ＨＩ，ＨＳ）が下記（４）式を満たす場合には、物体の持ち出しと判定する。また、Ｓｉｍ（ＨＲ，ＨＳ）とＳｉｍ（ＨＩ，ＨＳ）とが、下記（５）式を満たす場合は判定不能と判定する。
【００５０】
Ｓｉｍ（ＨＲ，ＨＳ）＞Ｓｉｍ（ＨＩ，ＨＳ）  …（３）式
Ｓｉｍ（ＨＩ，ＨＳ）＞Ｓｉｍ（ＨＲ，ＨＳ）  …（４）式
Ｓｉｍ（ＨＲ，ＨＳ）＝Ｓｉｍ（ＨＩ，ＨＳ）  …（５）式
前述の（３）式の意味は、以下の通りである。物体はある背景に置かれることが多い。変化領域の周辺が背景に属すると仮定すると、基準画像の変化領域が周辺に類似しているということは、基準画像では、その変化領域はもともと背景に属していた。即ち、背景に物体が持ち込まれたことにより、入力画像の変化領域と背景との類似度が低下したと判定する。また、前述の（４）式では、逆に物体が取り除かれたことにより、入力画像の変化領域が背景に類似したと判定する。
【００５１】
なお、本実施の形態において、物体の変位とは、図６（３）に示すように、基準画像と入力画像とにおいて、物体の存在領域が重なり合うようなものを意味し、物体の移動量が大きく、基準画像と入力画像とにおいて、物体の存在領域に重なりがないものは、この段階では、基準画像から物体が持ち出され、入力画像に物体が持ち込まれたものとして取り扱われる。ただし、両物体が同一物体であることの最終判定は、物体追跡により、基準画像の変化領域に存在していた物体を追跡した結果、入力画像の変化領域に一致したことで判定する。
【００５２】
図７は、図１に示す画像変化原因判定手段６の処理手順の他の例を示すフローチャートであり、エッジ点情報を利用する場合のフローチャートである。以下、図７の処理手順を説明する。
【００５３】
先ず、基準画像のエッジ画像Ｅ１を作成し、画像変化領域内での外郭エッジ点（Ｐ１）を抽出する（ステップＳ５１）。外郭エッジ点の意味および抽出法を図８に示す。エッジ画像を、ある線分（図８の破線で示すように、水平あるいは垂直設定することが多い）でスキャンし、その線分上で他のエッジ点に挟まれないエッジ点を外郭エッジ点とする。線分を所定の間隔で平行に移動しながら外郭エッジ点（Ｐ１）を求める。同様に、入力画像のエッジ画像Ｅ２を作成し、画像変化領域内での外郭エッジ点（Ｐ２）を求める（ステップＳ５２）。次、Ｐ１がＰ２の外側にある指数Ｃ１、逆にＰ２がＰ１の外側にある指数Ｃ２、およびＰ１とＰ２が交差する指数Ｃ３を計算する（ステップＳ５３）。
【００５４】
外側にある、あるいは交差の意味と求め方を図９に示す。図９（１）に示すように、Ｐ１がＰ２に挟まれていない時、Ｐ１がＰ２の外側にあると言い指数Ｃ１を増加する。図９（２）に示すように、Ｐ１が存在するがＰ２が存在しない場合にも、Ｐ１がＰ２の外側にあると言い、Ｃ１を増加させる。図９（３）に示すように、Ｐ１とＰ２が互い違いに並ぶときは、Ｐ１とＰ２は交差するといい、指数Ｃ３を増加する。図９（１）、（２）において、Ｐ１とＰ２を入れ替えた関係となれば、Ｐ２がＰ１の外側にあるといい、Ｃ２を増加する。
【００５５】
次に、下記（６）式を計算し、その値が、ある閾値より小さいか、あるいはある閾値以上かを判断する（ステップＳ５４）。
【００５６】
｜Ｃ１−Ｃ２｜／（Ｃ１＋Ｃ２＋Ｃ３）  …（６）式
この（６）式の値は、物体の持ち込み、あるいは、持ち出しの場合には、１に近い値をとり、物体の変位の場合には０に近い値をとるという特徴を有する。そこで、ある閾値を設け、その閾値より小さければ、物体の変位と判定し、閾値以上であれば物体の持ち出しと持ち込みを区別するステップヘと進む。閾値の値は例えば０．５程度に設定すると、多くの場合正しく判定できる。
【００５７】
物体の変位でない場合には、Ｃ１とＣ２を比較する（ステップＳ５５）。物体の持ち出しの場合には、Ｃ２は０に近い値をとり、物体の持ち込みの場合には、Ｃ１が０に近い値をとるという特徴がある。そこで、Ｃｌ＞Ｃ２なら物体の持ち出しであると判定する。また、Ｃ１＜Ｃ２なら物体の持ち込みであると判定する。さらにＣ１＝Ｃ２なら判定不能と判定する。
【００５８】
図１０は、図１に示す物体画像抽出手段７の処理手順を示すフローチャートであり、以下説明する。
【００５９】
画像変化原因が物体持ち出しである場合には、基準画像の変化領域の画像を物体画像とする（ステップＳ６２）。画像変化の原因が物体持ち込みである場合には、入力画像の変化領域内の画像を物体画像とする（ステップＳ６３）。画像変化の原因が物体の変位である場合には、基準画像と入力画像の変化領域のそれぞれから物体画像を抽出する（ステップＳ６４、ステップＳ６５）。
【００６０】
前述のステップＳ６４、ステップＳ６５における、変化領域から物体領域を抽出する方法は複数通りある。図１１は、エッジ画像を用いて、変化領域から物体領域を抽出する処理手順を示すフローチャートである。先ず、変化領域内のエッジ画像を求め閾値処理により、２値化する（ステップＳ７１）。次にラベリング手法を用いて、連結領域を求める（ステップＳ７２）。次に面積最大の連結領域を選択し、これを被覆する最小領域を求める（ステップＳ７３）。最小領域は、連結領域の凸包（Ｃｏｎｖｅｘ  ｃｌｏｕｓｕｒｅ）、あるいは、最小矩形（ｍｉｎｉｍｕｍ  ｂｏｕｎｄｉｎｇ  ｒｅｃｔａｎｇｌｅ）、あるいは、輪郭を求めるアルゴリズムを用いて求める。
【００６１】
図１２は、変化領域の周辺画像の特徴を用いて、変化領域内から物体領域を抽出する処理手順を示すフローチャートである。
【００６２】
先ず、変化領域の外側周辺画像の特徴を抽出する（ステップＳ８１）。次に、変化領域内で周辺画像特徴と異なる特徴を有する画素を選択する（ステップＳ８２）。これらの画素を被覆する最小領域を物体特徴とする（ステップＳ８３）。なお、画像特徴としては、色あるいはテクスチャを用いる。
【００６３】
図１３は、図１に示す追跡開始フレーム決定手段８の処理手順を示すフローチャートであり、以下説明する。
【００６４】
図１に示したサイクル決定手段１０により決定された、人間等の動物体が画像中に出現した最初のフレーム番号をＦ１、動物体が画像から出ていったフレーム番号をＦ２とする。基準画像とＦ２画像との変化領域（複数存在し得る）、各変化領域の変化原因、および、各変化領域の物体画像が得られているとする。各変化領域毎に以下の処理を行う。画像変化の原因が物体の持ち出しである場合には、Ｆ２フレームからＦ１フレームに向かって時系列画像を遡って調べ、変化領域に位置する画像が物体画像に一致する最初のフレームを見つけ追跡開始フレームＦ３とする（ステップＳ９２）。この追跡開始フレームＦ３は物体が持ち出される直前の画像を意味する。画像変化の原因が物体の持ち込みである場合には、Ｆ１からＦ２に向かって時系列画像を順次調べ、変化領域に位置する画像が物体画像に一致する最初のフレームを追跡開始フレームＦ３とする（ステップＳ９３）。この追跡開始フレームＦ３は物体が持ち込まれた直後の画像を意味する。画像変化の原因が物体の変位である場合には、Ｆ２からＦ１に向かって時系列画像を遡って調べ、基準画像で物体が存在していた領域に位置する画像が基準画像から抽出された物体画像に一致する最初のフレームを追跡開始フレームＦ３とする。この追跡開始フレームＦ３は変位直前の画像を意味する。画像変化の原因が物体の変位の場合には、上述とは逆に、Ｆ１からＦ２に向かって時系列画像を順次調べ、Ｆ２画像で物体が存在していた領域に位置する画像がＦ２画像から抽出された物体画像に一致する最初のフレームを追跡開始フレームＦ３とすることもできる。この場合、この追跡開始フレームＦ３は変位直後の画像を意味する。
【００６５】
図１４は、図１に示す物体追跡手段９の処理手順の一例を示すフローチャートであり、色情報を用いて物体を追跡するフローチャートである。画像変化領域から検出した物体毎にこの処理を行う。
【００６６】
先ず、現色ヒストグラムを物体領域から抽出した色ヒストグラム（初期色ヒストグラムと呼ぶ）とし、現位置を検出した物体の位置とし、物体の現形状を検出した物体の形状とする（ステップＳ１０１）。なお、ここで物体の形状とは、物体画像抽出手段７で抽出した物体形状に一致するものであり、凸包（Ｃｏｎｖｅｘ  ｃｌｏｕｓｕｒｅ）、最小矩形（ｍｉｎｉｍｕｍ  ｂｏｕｎｄｉｎｇ  ｒｅｃｔａｎｇｌｅ）、あるいは、輪郭を意味する。現色ヒストグラム、現位置、現形状の情報を用いて、時系列画像を追跡開始フレームＦ３から追跡終了フレームに向かって追跡処理を行う（ステップＳ１０２）。追跡終了フレームとは、物体持ち込みの場合にはＦ１フレームであり、物体持ち出しの場合にはＦ２フレームであり、物体の変位の場合には、追跡開始フレーム決定手段８で追跡開始フレームを決定する際にフレームを順次調べた時の最初のフレームである。現色ヒストグラム、現位置、現形状と次画像が与えられたときの、次画像での物体位置を以下のように決定する。現形状を少し変形した形状を複数作成する（変形量０の形状も含むものとする）。これら新形状を、現位置の近傍で走査し（現位置も含むものとする）、各位置で各形状に囲まれる領域の色ヒストグラムを求め、これと現色ヒストグラムの類似度を計算し、類似度が最大となる形状および位置を選択し、現位置を新しい位置に置き換える（ステップＳ１０３）。なお、各形状に囲まれる色ヒストグラムを求める際には、次画像と背景画像とで変化が生じている画素のみを対象とする。新形状の生成法は複数通り存在する。例えば、物体の幅や高さを変更する、あるいは、物体の形状をａｆｆｉｎｅ変換する等があげられる。通常の人間の室内動作では、物体の幅や高さを１〜２ピクセル振らす程度で物体追跡が行える。
【００６７】
求まった最大の類似度を調べ（ステップＳ１０４）、それがある閾値以上ならば（ステップＳ１０４のｙｅｓの経路）、現形状を最も類似度の高かった形状に変更し、現色ヒストグラムを更新する（ステップＳ１０５）。現色ヒストグラムをＨ１、類似度最大の形状、位置に対応する色ヒストグラムをＨ２、物体の初期色ヒストグラムをＨ３、ある定数値をａ，ｂ（０≦ａ≦１，０≦ｂ≦１，０≦ａ＋ｂ≦１）とすると、現色ヒストグラムを（７）式用いて更新する。なお添え字（ｋ）は色番号を示し、すべてのｋについて（７）式を計算する。
【００６８】
Ｈ１ｋ＝（１−ａ−ｂ）×Ｈ１ｋ＋ａｘＨ２ｋ＋ｂ×Ｈ３ｋ  …（７）式
物体が人間等により運搬されるとき、物体の向き、大きさ、色が変化する。また、物体が人間等の影に隠れたり、物体と人間の境界が不明確になることもある。これら様々な要因により、類似度最大の形状、位置に対応する領域が追跡物体の一部しか含まないこと、あるいは、追跡物体以外の物を含むことが起こり得る。これらの影響を軽減するために、現色ヒストグラムの変化が徐々に起こるよう、また、物体の初期の色をある程度保存するよう、（７）式は考案されている。多くの場合、ａ＝０．１，ｂ＝０．１前後に選ぶと物体追跡が安定に行える。類似度の最大値が閾値以下の場合は（ステップＳ１０４のｎｏの経路）、物体が人間等の影に隠れた可能性が高いとして、現色ヒストグラムの更新、現形状の更新は行わない。
【００６９】
持ち出しと判定された領域Ａの物体を追跡した結果が、物体の持ち込みと判定された領域Ｂに到達した場合には、物体はＡからＢに移動したと結論する。逆に、物体の持ち込みと判定された領域Ｂの物体を追跡した結果、領域Ａに到達した場合も、ＡからＢに物体が移動したと結論する。
【００７０】
人間を検出する手法は様々ある。図１５は物体の持ち込み、持ち出し、あるいは、変位を行った人間を頭部の形状と色情報に基づき検出する手順の一例を示すフローチャートであり、以下説明する。先ず追跡している物体と連結している変化領域に対し、その輪郭を抽出する（ステップＳ１１１）。
【００７１】
図１６に輪郭抽出の例を示す。図１６（１）は基準画像の例である。図１６（２）は追跡物体（箱状の物体）を運搬している人間が写っている入力画像の例である。追跡物体と連結する変化領域の例を図１６（３）に示す。この変化領域の輪郭を図１６（４）に示す。人間がものを運ぶときは、頭が一番高い位置にあるのが普通である。そこで、輪郭の一番高い点を基点として曲率を調べる。図１６（５）に調べた曲率のグラフの例を示す。この曲率のグラフは、頭頂点を基点として、反時計回りに輪郭をたどり、各輪郭点における曲率を求め、輪郭点の位置を横軸に曲率を縦軸に表示した図である。曲率の求め方には様々な方法があるが、例ではｋ曲率という公知の方法を使用した。ｋ曲率とは、輪郭上のｉ−ｋ番目の点をＡ，ｉ番目の点をＢ，ｉ＋ｋ番目の点をＣとした時、線分ＡＢと線分ＢＣの成す角を、点Ｂにおける曲率と定義するものである。輪郭が凸の場合は曲率は正となり、輪郭が凹の場合は曲率が負となる。基点（頭頂点）では曲率は正である。基点から反時計回りにグラフを調べ、曲率が負の極小値でその絶対値の大きさがある閾値以上となる最初の点Ｌを求める。次に、基点から時計回りにグラフを調べ、負の極小値で、その絶対値がある閾値以上となる最初の点Ｒを求める（ステップＳ１１２）。Ｌ，Ｒは人間の首の凹部分に対応する。Ｌ−頭頂点−Ｒの輪郭の円形度、線分ＬＲより上に位置する変化領域での肌色の割合Ｒ１および頭髪色の割合Ｒ２を求める（ステップＳ１１３）。円形度およびＲ１＋Ｒ２の値を調べ（ステップＳ１１４）、それがある基準を満たせば、人間の頭部が存在するとして、線分ＬＲと頭頂点で囲まれる変化領域の画像を抽出する。抽出した画像をその物体を運ぶ人とする（ステップＳ１１５）。追跡物体とそれを運搬する人の情報を記録しておく。
【００７２】
図１７は、本発明の物体追跡装置を使用して、実際に物体を追跡した結果を示す実験例である。図１７（１）は入力となる時系列画像の例である。この図は、毎秒３０フレームで１１秒間入力した合計３３０フレームの時系列画像中の第１、第１４０、第３３０フレームの画像を示してある。この例は、人間が箱状の物体を机の上に持ち込み、そして退室した時系列画像である。図１７（２）は変化領域の例である。図１７（３）は物体領域の例である。図１７（４）は追跡開始フレームの例であり、物体が置かれた直後の画像となっている。図１７（５）は物体が置かれた直後のフレームから、時間を遡って、物体を追跡している例である。追跡している物体と、その物体を運んでいる人の顔の部分に矩形を重ねて表示してある。図１７（６）は追跡過程で画像データベースに格納された、物体と顔画像の例である。この画像は、記録されていた顔画像の中で肌色部分の面積が最大の顔画像を表示したものである。
【００７３】
なお、図１で説明した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２〜５、図７、および図１０〜１５で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。
【００７４】
【発明の効果】
本発明によれば、物体の持ち込み、持ち出し、変位があった場合に、その物体を追跡でき、また、その変化を引き起こした人物を検出でき、さらには記録することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における処理機構図
【図２】図１の画像変化領域検出手段の処理手順を示すフローチャート
【図３】図１のサイクル決定手段の処理手順を示すフローチャート
【図４】図１の基準画像生成手段の処理手順を示すフローチャート
【図５】図１の画像変化原因判定手段で色情報を用いる場合の処理手順を示すフローチャート
【図６】（１），（２），（３）は、基準画像、入力画像、差分画像の関係を示す図
【図７】図１の画像変化原因判定手段でエッジ情報を用いる場合の処理手順を示すフローチャート
【図８】画像変化領域、エッジ画像、外郭エッジ点の関係を示す図
【図９】（１），（２），（３）は、外郭エッジ点集合間の外側、交差関係を説明する図
【図１０】図１の物体画像抽出手段の処理手順を示すフローチャート
【図１１】エッジ情報を用いて物体領域を求める処理手順を示すフローチャート
【図１２】周辺画像の特徴を利用して物体領域を求める処理手順を示すフローチャート
【図１３】図１の追跡開始フレーム決定手段の処理手順を示すフローチャート
【図１４】図１の物体追跡手段の処理手順を示すフローチャート
【図１５】物体を運搬している人物の頭部を検出する処理手順を示すフローチャート
【図１６】（１），（２），（３），（４），（５）は、物体を運搬している人間の頭部を検出する例を示す図
【図１７】（１），（２），（３），（４），（５），（６）は、物体追跡の実験例を示す図
【符号の説明】
１…カメラ
２…時系列画像蓄積・再生手段
３…基準画像生成手段
４…基準画像
５…画像変化領域検出手段
６…画像変化原因判定手段
７…物体画像抽出手段
８…追跡開始フレーム決定手段
９…物体追跡手段
１０…サイクル決定手段
１１…画像データベース
【図１】
2004362210.tif 000003
【図２】
2004362210.tif 000004
【図３】
2004362210.tif 000005
【図４】
2004362210.tif 000006
【図５】
2004362210.tif 000007
【図６】
2004362210.tif 000008
【図７】
2004362210.tif 000009
【図８】
2004362210.tif 000010
【図９】
2004362210.tif 000011
【図１０】
2004362210.tif 000012
【図１１】
2004362210.tif 000013
【図１２】
2004362210.tif 000014
【図１３】
2004362210.tif 000015
【図１４】
2004362210.tif 000016
【図１５】
2004362210.tif 000017
【図１６】
2004362210.tif 000018
【図１７】
2004362210.tif 000019