(57)【特許請求の範囲】
【請求項１】
（ａ）動画像の画像フレームデータから人物領域を抽出する人物領域抽出手段と、
（ｂ）前記人物領域を時間的に連結したトラックであってトラックテーブル記憶手段に記憶された既存トラックと、前記人物領域とを対応付ける人物領域／トラック対応付け手段と、
（ｃ）前記既存トラックに対応付けられない前記人物領域に基づいて新規トラックを生成する新規トラック生成手段と、
（ｄ）前記新規トラックから所定範囲内に存在し、かつ、最も近接する既存トラックを近接トラックとして選択する近接トラック選択手段と、
（ｅ）前記近接トラックの経路を複製して前記新規トラックに付与するトラック経路複製手段と、
（ｆ）前記トラックのそれぞれの経路の一部又は全部における画面上での座標値にバイアス成分を加算することによって経路を修正するトラック経路修正手段とを有し、
（ｇ）前記経路を表示装置の画面に表示させることを特徴とする動画像による人物追跡装置。
【請求項２】
（ａ）動画像の画像フレームデータから人物領域を抽出する人物領域抽出手段と、
（ｂ）前記人物領域を時間的に連結したトラックであってトラックテーブル記憶手段に記憶された既存トラックと、前記人物領域とを対応付ける人物領域／トラック対応付け手段と、
（ｃ）前記既存トラックに対応付けられない前記人物領域に基づいて新規トラックを生成する新規トラック生成手段と、
（ｄ）前記新規トラックから所定範囲内に存在し、かつ、最も近接する既存トラックを近接トラックとして選択する近接トラック選択手段と、
（ｅ）前記新規トラックと前記近接トラック又は該近接トラックのグループとをまとめてグループを生成するグループ化手段と、
（ｆ）前記グループ内の他のトラックから所定範囲外に存在するトラックを前記グループから分離するグループ分割手段と、
（ｇ）前記トラックのそれぞれの経路の一部又は全部における画面上での座標値にバイアス成分を加算することによって経路を修正するトラック経路修正手段とを有し、
（ｈ）前記経路を表示装置の画面に表示させることを特徴とする動画像による人物追跡装置。
【請求項３】
（ａ）動画像の画像フレームデータから人物領域を抽出する人物領域抽出手段と、
（ｂ）前記人物領域を時間的に連結したトラックであってトラックテーブル記憶手段に記憶された既存トラック間の距離を算出して記憶するトラック間距離算出記憶手段と、
（ｃ）前記人物領域と既存トラックとを対応付ける人物領域／トラック対応付け手段とを有し、
（ｄ）該人物領域／トラック対応付け手段は、単一の人物領域に複数の既存トラックが対応し、かつ、該複数の既存トラック間の距離が過去に所定値以上であった場合に、前記単一の人物領域に前記複数の既存トラックのすべてを対応付け、
（ｅ）前記トラックのそれぞれの経路の一部又は全部における画面上での座標値にバイアス成分を加算することによって経路を修正するトラック経路修正手段を更に有し、
（ｆ）前記経路を表示装置の画面に表示させることを特徴とする動画像による人物追跡装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像中において人物が移動した経路を特定する動画像による人物追跡装置に関するものである。
【０００２】
【従来の技術】
従来、コンビニエンスストア、スーパーマーケット等の商店、銀行、信用金庫等の金融機関、玄関ホール、エレベータ等の建物内部のような施設に監視カメラ等を設置し、撮影した動画像中において人物が移動した経路を特定することによって、前記施設を利用する人の動きを監視したり、人数を計測したりすることによって、前記施設の利用状況を把握するために、動画像による人物追跡装置が提供されている。
【０００３】
図２は従来の動画像による人物追跡装置のブロック図である。
【０００４】
図において、１１１は動画像情報等の入力であり、例えば、カメラの画像をキャプチャしたビットマップデータが一定の時間間隔ｔ毎に入力される。また、１１２は人物領域抽出手段であり、所定の時間毎に撮影された画像フレームデータで表される動画像シーケンスを受信し、それぞれの画像フレームデータ中から人物領域を抽出する。なお、人物領域を抽出する方法は公知（塩昭夫、ジャック・スクランスキー著「動画像からの歩行者検出法」、コンピュータビジョン７５−５（１９９１．１１．２２発行）参照）である。また、入力画像に存在する人物は一人とは限らず、推定される人物領域は０又は複数であり得る。
【０００５】
さらに、１１７は推定した人物領域を時間的に連結したもの（以下「トラック」という。）を記憶するトラックテーブル記憶手段である。そして、１１３は人物領域／トラック対応付け手段であり、前記人物領域抽出手段１１２から人物領域を受信し、該人物領域をトラックテーブル記憶手段１１７に記憶されているトラックと対応付ける。一般に、前記人物領域も前記トラックも複数であり得るので、それぞれのトラックＴｉについて、所定の距離指標を用いて、それぞれの人物領域との距離を算出し、最も距離が近い人物領域Ｒｊを選択する。ただし、すべての人物領域との距離が所定の閾（しきい）値を超えた場合には、そのトラックに対応付けられる人物領域はないと判断する。また、例えば、複数のトラックＴ１、Ｔ２、…について同一の人物領域Ｒｊが選択された場合には、該人物領域Ｒｊとの距離が最も小さいトラックを選択し、トラックＴｉとする。
【０００６】
このようにして、対応付けられたトラックと人物領域との組（Ｔｉ，Ｒｊ）は、トラック更新手段１１４に送信される。また、どの人物領域とも対応付けられなかったトラックは、トラック削除手段１１５に、逆にどのトラックとも対応付けられなかった人物領域は新規トラック生成手段１１６に送信される。
【０００７】
ここで、前述された人物領域とトラックとの間の距離指標の定め方について説明する。
【０００８】
例えば、まず、人物領域の画像上での幾何学的重心を人物領域の中心位置と定義する。また、トラックに過去に対応付けられた人物領域の中心位置の座標値を並べて時系列とし、これをトラッキングフィルタによって平滑化して得られた座標値の時系列を、そのトラックの経路として記憶する。
【０００９】
この際、前記トラッキングフィルタによって座標値の予測値を算出し、これをトラックの中心位置と定義する。そして、前記人物領域の中心位置とトラックの中心位置との幾何学的距離をもって、前記距離を定義する。
【００１０】
そして、前記トラック更新手段１１４は、人物領域／トラック対応付け手段１１３において対応付けられたトラックと人物領域との組のそれぞれについて、前記トラックに含まれる情報の更新を行う。このとき、前述されたようにトラッキングフィルタによる座標値の平滑化及び予測値を算出する。
【００１１】
また、前記トラック削除手段１１５は、人物領域／トラック対応付け手段１１３においてどの人物領域とも対応付けられなかったトラックを削除するために、トラックテーブル記憶手段１１７にトラックの削除指示を送信する。
【００１２】
そして、前記新規トラック生成手段１１６は、人物領域／トラック対応付け手段１１３においてどのトラックとも対応付けられなかった人物領域に基づいて、新規トラックを生成する。この際、前記人物領域の中心位置を新規トラックの中心位置として記録し、また、トラック更新手段１１４におけるトラッキングフィルタによる追尾処理を行う際の初期値とする。
【００１３】
また、出力生成手段１１８は、トラック更新手段１１４から既存トラックを、及び、新規トラック生成手段１１６から新規トラックを受信し、すべてのトラックに関する情報を外部に出力する。この出力は、例えば、オペレータが監視するために図示されない表示装置に送信される。
【００１４】
【発明が解決しようとする課題】
しかしながら、前記従来の動画像による人物追跡装置においては、複数の人物が接近している場合に、トラックと人物領域とを適切に対応付けることができなくなってしまう。
【００１５】
例えば、二人の人物が互いに接近した状態で、ドアを通って部屋に入室した場合、一つのカメラで部屋内を撮影しているので、入室直後に対応する画像フレームでは二人の人物の人物領域が一体となり、一本のトラックが形成される。その後、前記二人の人物が別々の方向に進むと、対応する画像フレームでは二人の人物に対応する人物領域が、それぞれ、抽出されるので、二本のトラックが形成される。しかし、前記二人の人物が離れた状態となるまでは、トラックが一本だけであるので、ドアを通って部屋に入室した人物の数は、一人であると判断されてしまう。また、二人の人物が離れた状態から、接近してドアを通って部屋から退室する場合にも、ドアを通って部屋を退室した人物の数は、一人であると判断されてしまう。
【００１６】
この場合、ステレオカメラを用いて、画像中の各点の距離を測定したり、複数のカメラで異なる角度から撮影したりすれば、接近した二人の人物の人物領域を別々に抽出することもできるが、コストが高くなってしまう。
【００１７】
さらに、人物領域抽出手段１１２が画像の色情報を利用している場合、一人の人物であっても、上半身と下半身とで服装の色合いが大きく相違する時には、人物領域が二つとなり、二本のトラックが形成されるので、ドアを通って部屋に入室した人物の数が二人であると判断されてしまう。
【００１８】
本発明は、前記従来の動画像による人物追跡装置の問題点を解決して、人物に対応するトラックを適切に生成することによって、コストを高くすることなく、人物の数を正確に判断することができる動画像による人物追跡装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
そのために、本発明の動画像による人物追跡装置においては、動画像の画像フレームデータから人物領域を抽出する人物領域抽出手段と、前記人物領域を時間的に連結したトラックであってトラックテーブル記憶手段に記憶された既存トラックと、前記人物領域とを対応付ける人物領域／トラック対応付け手段と、前記既存トラックに対応付けられない前記人物領域に基づいて新規トラックを生成する新規トラック生成手段と、前記新規トラックから所定範囲内に存在し、かつ、最も近接する既存トラックを近接トラックとして選択する近接トラック選択手段と、前記近接トラックの経路を複製して前記新規トラックに付与するトラック経路複製手段と、前記トラックのそれぞれの経路の一部又は全部における画面上での座標値にバイアス成分を加算することによって経路を修正するトラック経路修正手段とを有し、前記経路を表示装置の画面に表示させる。
【００２０】
本発明の他の動画像による人物追跡装置においては、動画像の画像フレームデータから人物領域を抽出する人物領域抽出手段と、前記人物領域を時間的に連結したトラックであってトラックテーブル記憶手段に記憶された既存トラックと、前記人物領域とを対応付ける人物領域／トラック対応付け手段と、前記既存トラックに対応付けられない前記人物領域に基づいて新規トラックを生成する新規トラック生成手段と、前記新規トラックから所定範囲内に存在し、かつ、最も近接する既存トラックを近接トラックとして選択する近接トラック選択手段と、前記新規トラックと前記近接トラック又は該近接トラックのグループとをまとめてグループを生成するグループ化手段と、前記グループ内の他のトラックから所定範囲外に存在するトラックを前記グループから分離するグループ分割手段と、前記トラックのそれぞれの経路の一部又は全部における画面上での座標値にバイアス成分を加算することによって経路を修正するトラック経路修正手段とを有し、前記経路を表示装置の画面に表示させる。
【００２１】
本発明の他の動画像による人物追跡装置においては、動画像の画像フレームデータから人物領域を抽出する人物領域抽出手段と、前記人物領域を時間的に連結したトラックであってトラックテーブル記憶手段に記憶された既存トラック間の距離を算出して記憶するトラック間距離算出記憶手段と、前記人物領域と既存トラックとを対応付ける人物領域／トラック対応付け手段とを有し、該人物領域／トラック対応付け手段は、単一の人物領域に複数の既存トラックが対応し、かつ、該複数の既存トラック間の距離が過去に所定値以上であった場合に、前記単一の人物領域に前記複数の既存トラックのすべてを対応付け、前記トラックのそれぞれの経路の一部又は全部における画面上での座標値にバイアス成分を加算することによって経路を修正するトラック経路修正手段を更に有し、前記経路を表示装置の画面に表示させる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２４】
図１は本発明の第１の実施の形態における動画像による人物追跡装置のブロック図である。
【００２５】
図において、１０は動画像による人物追跡装置であり、図示されないカメラが撮影した動画像情報等の入力１１がなされるようになっている。
【００２６】
ここで、前記カメラは、一般に、工業用の監視カメラを使用するが、監視画像として動画を撮影する機能を有するものであれば、放送局用の監視カメラであっても、家庭用のビデオカメラであってもよく、いかなる形態のものであってもよい。また、前記監視カメラは、例えば、コンビニエンスストア、スーパーマーケット、デパート、ホームセンタ、ショッピングセンタ等の商業施設、銀行、信用金庫等の金融機関、鉄道の駅、鉄道車両、地下道、バス、飛行場等の交通機関、劇場、テーマパーク、遊園地等の娯楽施設、ホテル、旅館等の宿泊施設、食堂、レストラン等の飲食施設、学校、官庁等の公共施設、個人住宅、集合住宅等の住宅施設、一般の建造物における玄関ホール、エレベータ等の建物内部、工事現場、工場等の作業施設などに配設されるが、その他いかなる施設や場所に配設されてもよい。
【００２７】
そして、本実施の形態における動画像による人物追跡装置は、前記施設や場所を利用する人物の動きを監視したり、人数を計測したりすることによって、前記施設や場所の利用状況を把握するために使用される。なお、前記動画像による人物追跡装置は、人物以外にも、自動車、生物等のいかなる移動体を追跡することができるものであるが、ここでは、人物を追跡する場合についてのみ説明する。より具体的には、部屋や店舗の内部に固定された単一のカメラが撮影した動画像に基づいて、出入口やエレベータのドアを通過して前記部屋や店舗に出入りする人物を追跡する場合について説明する。
【００２８】
ここで、前記入力１１は、例えば、カメラの画像をキャプチャしたビットマップデータが一定の時間間隔ｔ毎に入力される。また、１２は動画像の画像フレームデータから人物領域を抽出する人物領域抽出手段であり、受信した画像フレームデータ中から人物領域を抽出するようになっている。そして、１３は人物領域と既存トラックとを対応付ける人物領域／トラック対応付け手段、１７は推定した人物領域を時間的に連結した人物領域の軌跡としてのトラックを記憶するトラックテーブル記憶手段である。前記人物領域／トラック対応付け手段１３は、前記人物領域抽出手段１２から人物領域を受信し、該人物領域をトラックテーブル記憶手段１７に記憶されているトラックと対応付けるようになっている。
【００２９】
また、１４はトラック更新手段、１５はトラック削除手段である。そして、前記トラック更新手段１４は人物領域／トラック対応付け手段１３において対応付けられたトラックと人物領域との組のそれぞれについて、前記トラックに含まれる情報の更新を行う。また、前記トラック削除手段１５は、人物領域／トラック対応付け手段１３においてどの人物領域とも対応付けられなかったトラックを削除するための削除指令をトラックテーブル記憶手段１７に送信するようになっている。
【００３０】
そして、２１は既存トラックに対応付けられない人物領域に基づいて新規トラックを生成する新規トラック生成手段であり、人物領域／トラック対応付け手段１３においてどのトラックとも対応付けられなかった人物領域に基づいて、新規トラックを生成するようになっている。また、２２は前記新規トラックから所定範囲内に存在し、かつ、最も近接する既存トラックを近接トラックとして選択する近接トラック選択手段、２３は前記近接トラックの経路を複製して前記新規トラックに付与するトラック経路複製手段である。ここで、前記近接トラック選択手段２２は、新規トラック生成手段２１から新規トラックを受信して、トラックテーブル記憶手段１７に記憶されている既存のトラックの中から新規トラックに最も近接した既存のトラックを選択する。また、前記トラック経路複製手段２３は、最も近接した既存トラックの過去の経路を複製して新規トラックに付与する。
【００３１】
なお、１８は出力生成手段であり、トラック更新手段１４から既存トラックを、及び、新規トラック生成手段２１から近接トラック選択手段２２、トラック経路複製手段２３を介して新規トラックを受信し、すべてのトラックに関する情報を外部に出力として送信するようになっている。この場合、前記出力は、例えば、オペレータが監視するために図示されないＣＲＴ、液晶ディスプレイ等の表示装置に送信される。
【００３２】
次に、前記構成の動画像による人物追跡装置１０の動作について説明する。
【００３３】
まず、人物領域抽出手段１２は、入力１１として、所定の時間毎に撮影された画像フレームデータで表される動画像シーケンスを受信し、それぞれの画像フレームデータ中から人物領域を抽出する。なお、人物領域を抽出する方法は、「従来の技術」において説明したように、公知である。また、入力画像に存在する人物は一人とは限らず、推定される人物領域は０又は複数であり得る。
【００３４】
さらに、人物領域／トラック対応付け手段１３は、前記人物領域抽出手段１２から人物領域を受信し、該人物領域をトラックテーブル記憶手段１７に記憶されているトラックと対応付ける。一般に、前記人物領域もトラックも複数であり得るので、前記人物領域／トラック対応付け手段１３は、それぞれのトラックＴｉについて、人物領域のそれぞれとの距離を所定の距離指標を用いて算出し、最も距離が近い人物領域Ｒｊを選択する。ただし、あるトラックとすべての人物領域との距離が所定の閾値を超えた場合には、前記トラックに対応付けられる人物領域はないと判断する。また、例えば、複数のトラックＴ１、Ｔ２、…について同一の人物領域Ｒｊが選択された場合には、その人物領域Ｒｊとの距離が最も小さいトラックを選択してトラックＴｉとする。
【００３５】
このようにして、対応付けられたトラックと人物領域との組（Ｔｉ，Ｒｊ）は、トラック更新手段１４に送信される。また、どの人物領域とも対応付けられなかったトラックは、トラック削除手段１５に、逆にどのトラックとも対応付けられなかった人物領域は、新規トラック生成手段２１に送信される。
【００３６】
ここで、前記人物領域とトラックとの間の距離指標は、次のようにして定められる。例えば、まず、人物領域の画像上での幾何学的重心を人物領域の中心位置と定義する。また、トラックに過去に対応付けられた人物領域の中心位置の座標値を並べて時系列とし、これをトラッキングフィルタによって平滑化して得られた座標値の時系列を、前記トラックの経路として記憶する。
【００３７】
この際、前記トラッキングフィルタによって座標値の予測値を算出し、該座標値の予測値をトラックの中心位置と定義する。そして、前記人物領域の中心位置とトラックの中心位置との幾何学的距離をもって、前記距離を定義する。
【００３８】
なお、前記トラック更新手段１４は、人物領域／トラック対応付け手段１３において対応付けられたトラックと人物領域との組のそれぞれについて、前記トラックに含まれる情報の更新を行う。このとき、前述されたようにトラッキングフィルタによる座標値の平滑化及び予測値の算出を行う。
【００３９】
また、前記トラック削除手段１５は、人物領域／トラック対応付け手段１３においてどの人物領域とも対応付けられなかったトラックを削除するために、トラックテーブル記憶手段１７にトラックの削除指示を送信する。
【００４０】
そして、前記新規トラック生成手段２１は、人物領域／トラック対応付け手段１３においてどのトラックとも対応付けられなかった人物領域に基づいて、新規トラックを生成し、近接トラック選択手段２２に送信する。
【００４１】
また、該近接トラック選択手段２２は、新規トラック生成手段２１から新規トラックを受信して（新規トラックが複数個ある場合はそれぞれについて）、以下の処理を行う。
【００４２】
まず、新規トラックＴｎｅｗについて、トラックテーブル記憶手段１７から得た既存トラックＴ１、Ｔ２、…の中から新規トラックＴｎｅｗに最も近接したものとしてトラックＴｋを選択し、新規トラックＴｎｅｗと既存トラックＴｋとを組にしてトラック経路複製手段２３に送信する。この際、近接の度合いを測定する指標としては、例えば、新規トラックＴｎｅｗの中心位置と既存トラックＴｋの中心位置との間の幾何学的距離を用いることができる。
【００４３】
そして、新規トラックＴｎｅｗとの距離が、すべての既存トラックＴ１、Ｔ２、…について所定の閾値を超える場合には、近接した既存トラックＴｋはないと判定し、その旨をトラック経路複製手段２３に送信する。なお、トラックテーブル記憶手段１７に既存トラックが存在していない場合も同様である。
【００４４】
また、トラック経路複製手段２３は、トラックテーブル記憶手段１７及び出力生成手段１８に接続され、最も近接した既存トラックＴｋの過去の経路をコピーして新規トラックＴｎｅｗに付与する。該新規トラックＴｎｅｗは、トラックテーブル記憶手段１７及び出力生成手段１８に送信される。ただし、近接トラック選択手段２２において、近接した既存トラックＴｋはないと判定された場合、新規トラックＴｎｅｗには過去の経路は付与されず、そのままトラックテーブル記憶手段１７及び出力生成手段１８に送信される。
【００４５】
そして、前記出力生成手段１８は、トラック更新手段１４から既存トラックＴｋを、及び、新規トラック生成手段２１から近接トラック選択手段２２、トラック経路複製手段２３を介して新規トラックＴｎｅｗを受信し、すべてのトラックに関する情報を外部に出力する。
【００４６】
このように、本実施の形態においては、新規トラックＴｎｅｗの生成時に、既存トラックＴ１、Ｔ２、…中に新規トラックＴｎｅｗに近接したトラックがある場合に、最も近接した既存トラックＴｋが保持する過去の経路に関する情報を新規トラックＴｎｅｗに複製して付与する。そのため、複数の人物が最初に画像内に出現した時に重なっていたために分離することができず、後に複数の人物の位置が遠ざかったために分離された場合において、複数の人物のそれぞれを表す出現当初からの経路を持たせることができる。
【００４７】
例えば、部屋や店舗の内部に固定されたカメラによって撮影した映像に基づいて、出入口やエレベータのドアを通過して前記部屋や店舗に進入する人物を計数する場合について説明する。
【００４８】
図３は本発明の第１の実施の形態における入力画像の例を示す図、図４は本発明の第１の実施の形態における人物領域の推定結果を示す図、図５は従来の出力結果の例を示す第１の図、図６は本発明の第１の実施の形態における出力結果の例を示す図である。
【００４９】
例えば、二人の人物が互いに近接した状態で出入口やエレベータのドアを通過して部屋や店舗に進入した場合、図３に示されるような状況があり得る。なお、図３（ａ）は時刻ｔ１において撮影された画像フレーム、図３（ｂ）は時刻ｔ２において撮影された画像フレーム、図３（ｃ）は時刻ｔ３において撮影された画像フレーム、図３（ｄ）は時刻ｔ４において撮影された画像フレームである。そして、図３（ａ）〜（ｄ）に示されるように、二人の人物をそれぞれ人物Ａ、Ｂとすると、時刻ｔ１、ｔ２において人物Ａ、Ｂは画像内では重なって見えるが、時刻ｔ３、ｔ４において重なっていないことに注意する。
【００５０】
続いて、この動画像に基づいて、それぞれの時刻ｔ１〜ｔ４における人物領域を抽出すると、例えば、図４に示されるような結果が得られる。ここで、図４（ａ）は時刻ｔ１において撮影された画像フレームから抽出された人物領域、図４（ｂ）は時刻ｔ２において撮影された画像フレームから抽出された人物領域、図４（ｃ）は時刻ｔ３において撮影された画像フレームから抽出された人物領域、図４（ｄ）は時刻ｔ４において撮影された画像フレームから抽出された人物領域を示している。なお、図４（ａ）〜（ｄ）において、各時刻ごとにハッチングされた部分が抽出された人物領域であり、時刻ｔ１、ｔ２においては一個の人物領域が、また、時刻ｔ３、ｔ４においては、それぞれ、二個の人物領域が抽出されることを表している。
【００５１】
この場合、「従来の技術」において説明したような従来の動画像による人物追跡装置によれば、時刻ｔ１、ｔ２を入力した段階では人物領域が一個しかないので、トラックは一個だけ生成され、時刻ｔ３において二個目の人物領域が得られた時に二個目のトラックが生成される。したがって、最終的に得られる人物Ａ、Ｂに対応するトラックの経路は、図５に示されるようになる。なお、図５において、二本の矢印ａ、ｂが人物Ａ、Ｂにそれぞれ対応するトラックの過去の経路を表している。
【００５２】
ここで、左側の人物Ａは本当はドアから進入したにもかかわらず、人物Ａの経路（矢印ａ）は部屋の中央から開始している。すなわち、ドアを通って進入した経路は、人物Ｂの経路（矢印ｂ）だけしか生成されていない。したがって、例えば、生成された経路の本数に基づいて、ドアを通って進入した人物の数を計数したい場合は、本当は二人であるにもかかわらず、一人という誤った結果になってしまう。
【００５３】
これに対して、本実施の形態においては、新規トラックＴｎｅｗの生成時に、既存トラックＴ１、Ｔ２、…中に新規トラックＴｎｅｗに近接したトラックがある場合に、最も近接した既存トラックＴｋが保持する過去の経路に関する情報を新規トラックＴｎｅｗに複製して付与する。そのため、最終的に得られる人物Ａ、Ｂに対応するトラックの過去の経路は、図６に矢印ａ、ｂとして示されるようになる。この場合、人物Ａの経路（矢印ａ）も、人物Ｂの経路（矢印ｂ）と同様に、ドアを通って進入する経路ように生成される。すなわち、複数の人物が最初に画像内に出現した時に重なっていたために分離することができず、後に複数の人物の位置が遠ざかったために分離された場合においても、複数の人物のそれぞれを表す出現当初からの経路を生成することができる。
【００５４】
したがって、本実施の形態においては、例えば、生成された経路の本数に基づいて、ドアを通過して部屋や店舗に進入した人物の数を計数したい場合、複数の人物が互いに近接したままドアを通過して進入した時にも、前記人物の数を正確に計数することができる。
【００５５】
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同じ構成を有するもの、及び、同じ動作については、その説明を省略する。
【００５６】
図７は本発明の第２の実施の形態における動画像による人物追跡装置のブロック図である。
【００５７】
本実施の形態における動画像による人物追跡装置１０は、新規トラックＴｎｅｗに最も近接した既存トラックＴｋを選択し、続いて、新規トラックＴｎｅｗと既存トラックＴｋとをグループとしてまとめて取り扱う。ここで、該グループは、トラックと同様に、経路に関する情報を保持し、グループに属するトラックの経路は出力されずに、グループの経路が出力される。この場合、例えば、グループに属するトラックのうちの一個を代表トラックとし、該代表トラックの経路をもってグループの経路と見なすことにする。
【００５８】
図７において、３５は新規トラックＴｎｅｗと近接トラック又は該近接トラックのグループとをまとめてグループを生成するグループ化手段であり、トラックテーブル記憶手段１７及び出力生成手段１８に接続されている。そして、前記グループ化手段３５は、トラック経路複製手段２３から新規トラックＴｎｅｗと該新規トラックＴｎｅｗに最も近接した既存トラックＴｋとの組を受信して、二つのトラックをまとめてグループＧ１を生成するようになっている。また、３６はグループ内の他のトラックから所定範囲外に存在するトラックをグループから分離するグループ分割手段であり、トラックテーブル記憶手段１７及び出力生成手段１８に接続され、グループに所属するトラックを必要に応じてグループから分離する。そして、３７は出力トラック選択手段であり、前記グループ分割手段３６から受信したトラックの中から通常トラック又は各グループの代表トラックになっているものだけを抽出し、出力生成手段１８に送信するようになっている。なお、その他の構成については、前記第１の実施の形態と同様であるので、説明を省略する。
【００５９】
次に、前記構成の動画像による人物追跡装置１０の動作について説明する。
【００６０】
図８は従来のトラックを出力する方法を示す図、図９は本発明の第２の実施の形態におけるトラックを出力する方法を示す図、図１０は従来の出力結果の例を示す第２の図、図１１は本発明の第２の実施の形態における出力結果の例を示す図である。
【００６１】
ここで、人物領域抽出手段１２が入力１１を受信して、トラック経路複製手段２３が最も近接した既存トラックＴｋの過去の経路を復製して新規トラックＴｎｅｗに付与するまでの動作については、前記第１の実施の形態と同様であるので、説明を省略する。
【００６２】
そして、トラック経路複製手段２３は、新規トラックＴｎｅｗと該新規トラックＴｎｅｗに最も近接した既存トラックＴｋとを組にし、グループ化手段３５に送信する。すると、該グループ化手段３５は、トラック経路複製手段２３から新規トラックＴｎｅｗと該新規トラックＴｎｅｗに最も近接した既存トラックＴｋとの組を受信し、二つのトラックをまとめてグループＧ１を生成する。なお、既存トラックＴｋが既にあるグループＧ２に所属している場合は、該グループＧ２に前記新規トラックＴｎｅｗを追加する。
【００６３】
ここで、どのグループにも所属しないトラックを通常トラックと定義する。そして、近接トラック選択手段２２によって、新規トラックＴｎｅｗに最も近接した既存トラックＴｋがないと判定された場合、グループ化手段３５は、グループ化を行わずに、新規トラックＴｎｅｗを通常トラックとして出力生成手段１８へ送信する。
【００６４】
また、前記トラック削除手段１５は、前記第１の実施の形態と同様に、人物領域に対応付けられなかったトラックを削除する。その際、例えば、削除するトラックＴ１があるグループＧ３の代表トラックであった場合は、グループＧ３に属する他の既存トラックＴｋのうちの一個を選択し、選択されたトラックを新たにグループの代表トラックとする。
【００６５】
そして、選択の方法としては、例えば、グループＧ３に所属した時刻が古いトラックを優先することができる。なお、例えば、グループＧ３に所属するトラックが一個だけであり、トラックＴ２である場合は、グループＧ３を削除し、トラックＴ２は通常トラックに戻る。
【００６６】
また、前記グループ分割手段３６は、既存のグループに所属するトラックのそれぞれについて、グループから分離するかどうかを次のようにして判定する。例えば、あるグループＧ４にあるトラックＴ３が所属している場合、トラックＴ３と、グループＧ４に所属する他のトラックＴｍ、Ｔｎ、…のそれぞれとの間の距離をそれぞれ算出し、中心距離のいずれもが所定の閾値よりも大きかった場合、トラックＴ３をグループＧ４から分離し、トラックＴ３は通常トラックに戻る。その際に、グループＧ４に対して、トラック削除手段１５と同様に、必要であれば代表トラックの変更又はグループの削除を行う。
【００６７】
そして、出力トラック選択手段３７は、受信したトラックの中から通常トラック又は各グループの代表トラックになっているものだけを抽出し、出力生成手段１８に送信する。
【００６８】
このように、本実施の形態においては、新規トラックＴｎｅｗと既存トラックＴｋとをグループとしてまとめて取り扱い、該グループが、トラックと同様に、経路に関する情報を保持し、前記グループに属するトラックの経路は出力されずに、グループの経路が出力される。この場合、グループに属するトラックのうちの一個を代表トラックとし、該代表トラックの経路をもってグループの経路と見なすようになっている。そのため、トラックＴ１、Ｔ２、Ｔ３が存在する場合、従来の方法においては、図８に示されるように、三つのトラックＴ１、Ｔ２、Ｔ３がすべて出力されるのに対して、本実施の形態においては、図９に示されるように、トラックＴ１の経路及びグループＧ１の経路、すなわち、代表トラックＴ２の経路が出力される。
【００６９】
したがって、本実施の形態においては、前記第１の実施の形態が奏する効果に加えて、人物領域抽出手段１２が何らかの原因によって画像中にある一人の人物に対して複数の人物領域を生成する場合であっても、正しい人数を出力することができるという効果を奏する。一般的に、前記人物領域抽出手段１２が何らかの原因によって画像中にある一人の人物に対して複数の人物領域を生成した場合には、複数の人物領域は近接していることが多いので、最終的に出力される結果は一人となる可能性が高い。このような場合、本実施の形態においては、一本の経路だけを生成するようになっている。
【００７０】
例えば、人物領域抽出手段１２が画像の色情報に基づいた方式を用いている場合、人物の上半身の服装の色と下半身の服装の色とが大きく異なる時に、人物領域抽出手段１２は、画像中にある一人の人物に対して複数の人物領域を生成することがある。
【００７１】
この場合、「従来の技術」において説明したような従来の動画像による人物追跡装置によれば、図１０に示されるように、人物Ａの上半身Ａ−１に対応するトラックの過去の経路、及び、人物Ａの下半身Ａ−２に対応するトラックの過去の経路が生成される。なお、図１０において、二本の矢印ａ−１、ａ−２が人物Ａの上半身Ａ−１、下半身Ａ−２にそれぞれ対応するトラックの過去の経路を表している。したがって、例えば、生成された経路の本数に基づいて、ドアを通って進入した人物の数を計数したい場合は、本当は一人であるにもかかわらず、二人という誤った結果になってしまう。
【００７２】
これに対して、本実施の形態においては、新規トラックＴｎｅｗに最も近接した既存トラックＴｋを選択し、続いて、新規トラックＴｎｅｗと既存トラックＴｋとをグループとしてまとめて取り扱う。そのため、人物領域抽出手段１２は、画像中にある一人の人物に対して複数の人物領域、例えば、上半身Ａ−１、下半身Ａ−２にそれぞれ対応する人物領域を生成しても、最終的に得られる人物Ａに対応するトラックの過去の経路は、図１１に矢印ａとして示されるように一本になる。
【００７３】
したがって、本実施の形態においては、例えば、生成された経路の本数に基づいて、ドアを通過して部屋や店舗に進入した人物の数を計数したい場合、前記人物の数を正確に計数することができる。
【００７４】
次に、本発明の第３の実施の形態について説明する。なお、第１及び第２の実施の形態と同じ構成を有するもの、及び、同じ動作については、その説明を省略する。
【００７５】
図１２は本発明の第３の実施の形態における動画像による人物追跡装置のブロック図である。
【００７６】
本実施の形態における動画像による人物追跡装置１０は、新規トラックＴｎｅｗに近接したものがあった場合に、既存トラックＴｋの中から新規トラックＴｎｅｗに最も近接したものを選択し、最も近接した既存トラックＴｋが保持する過去の経路に関する情報を新規トラックＴｎｅｗに複製して付与するようになっている。  図１２において、４２はトラック間距離算出記憶手段であり、前記人物領域／トラック対応付け手段１３に接続され、トラックテーブル記憶手段１７に記憶されている既存トラックＴｋに関し、そのうちの二つのトラックから成る組合せのすべてについて、二つのトラック間の距離を算出するとともに、既存トラックＴｋのうちの二つのトラックから成る組合せのすべてについて、二つのトラック間の距離の最大値を記憶するようになっている。また、人物領域／トラック対応付け手段１３は、トラック更新手段１４、トラック削除手段１５及び新規トラック生成手段２１にそれぞれ接続されている。なお、本実施の形態において、前記人物領域／トラック対応付け手段１３は、単一の人物領域に複数の既存トラックＴｋが対応し、かつ、該複数の既存トラックＴｋ間の距離が過去に所定値以上であった場合に、前記単一の人物領域に前記複数の既存トラックＴｋのすべてを対応付けるようになっている。
【００７７】
また、その他の構成については、前記第１の実施の形態と同様であるので、説明を省略する。なお、本実施の形態における動画像による人物追跡装置１０は、近接トラック選択手段２２及びトラック経路複製手段２３を有していない点で、前記第１の実施の形態と相違する。
【００７８】
次に、前記構成の動画像による人物追跡装置１０の動作について説明する。
【００７９】
図１３は従来の出力結果の例を示す第３の図、図１４は本発明の第３の実施の形態における出力結果の例を示す図である。
【００８０】
ここで、人物領域抽出手段１２が入力１１を受信して、トラック経路複製手段２３が最も近接した既存トラックＴｋの過去の経路を複製して新規トラックＴｎｅｗに付与するまでの動作については、前記第１の実施の形態と同様であるので、説明を省略する。
【００８１】
そして、トラック間距離算出記憶手段４２は、トラックテーブル記憶手段１７に記憶されている既存トラックＴｋに関し、そのうちの二つのトラックＴｉ、Ｔｊから成る組合せのすべてについて、該二つのトラックＴｉ、Ｔｊ間の距離を算出する。また、既存トラックＴｋのうちの二つのトラックＴｉ、Ｔｊからなる組合せのすべてについて、該二つのトラックＴｉ、Ｔｊ間の距離の最大値を記憶する。
【００８２】
また、前記人物領域／トラック対応付け手段１３は、前記第１の実施の形態と同様に動作するが、人物領域抽出手段１２から受け取った人物領域を既存トラックＴｋと対応付ける際に、例えば、複数のトラックＴ１、Ｔ２、…について同一の人物領域Ｒが選択された場合、人物領域Ｒとの距離が最も小さいトラックを選択し、人物領域ＲｊとトラックＴｉとを対応付ける。
【００８３】
さらに、前記トラック間距離算出記憶手段４２から受信した二つのトラックＴｉ、Ｔｊ間の距離に関する情報を用いて、複数のトラックＴ１、Ｔ２、…のうちで過去にトラックＴｉと所定の閾値を超える距離を示したことがあるトラックＴｎ１、Ｔｎ２、…を選択する。そして、選択されたトラックＴｎ１、Ｔｎ２、…については、前記人物領域Ｒｊと対応付けることを認めるものとし、トラック更新手段１４にトラックと人物領域との組（Ｔｎ１，Ｒｊ）、（Ｔｎ２，Ｒｊ）、…を送信する。
【００８４】
このように、本実施の形態においては、新規トラックＴｎｅｗに近接したものがあった場合に、既存トラックＴｋの中から新規トラックＴｎｅｗに最も近接したものを選択し、最も近接した既存トラックＴｋが保持する過去の経路に関する情報を新規トラックＴｎｅｗに複製して付与するようになっている。したがって、複数の人物が一旦（たん）はそれぞれ異なるトラックによって表されていた場合、時間の経過とともに複数の人物が移動することによってカメラの位置から重なって見えるような配置になった時にも、人数を誤って減じてしまうことがない。
【００８５】
例えば、二人の人物が互いに近接した状態で出入口やエレベータのドアを通過して部屋や店舗から退出する場合、撮影された画像内において、当初は別々であった人物が、ドアに接近すると重なってしまうことがある。
【００８６】
この場合、「従来の技術」において説明したような従来の動画像による人物追跡装置によれば、図１３に示されるように、人物Ａに対応するトラックの過去の経路、及び、人物Ｂに対応するトラックの過去の経路が生成される。なお、図１３において、二本の矢印ａ、ｂが人物Ａ、Ｂにそれぞれ対応するトラックの過去の経路を表している。
【００８７】
ここで、左側の人物Ａは本当はドアから退出するにもかかわらず、人物Ａの経路（矢印ａ）は部屋の中央で終了している。すなわち、ドアを通って退出する経路は、人物Ｂの経路（矢印ｂ）だけしか生成されていない。したがって、例えば、生成された経路の本数に基づいて、ドアを通って退出する人物の数を計数したい場合は、本当は二人であるにもかかわらず、一人という誤った結果になってしまう。
【００８８】
これに対して、本実施の形態においては、新規トラックＴｎｅｗに近接したものがあった場合に、既存トラックＴｋの中から新規トラックＴｎｅｗに最も近接したものを選択し、最も近接した既存トラックＴｋが保持する過去の経路に関する情報を新規トラックＴｎｅｗに複製して付与するようになっている。そのため、最終的に得られる人物Ａ、Ｂに対応するトラックの過去の経路は、図１４における矢印ａ、ｂとして示されるようになる。この場合、人物Ａの経路（矢印ａ）も、人物Ｂの経路（矢印ｂ）と同様に、ドアを通って退出するように生成される。すなわち、複数の人物が最初に画像内に出現した時に分離されていたのに、後に複数の人物の位置が接近したために重なってしまい分離することができなくなった場合においても、複数の人物のそれぞれを最後まで表す経路を生成することができる。
【００８９】
したがって、本実施の形態においては、例えば、生成された経路の本数に基づいて、ドアを通過して部屋や店舗から退出する人物の数を計数したい場合、複数の人物が互いに近接したままドアを通過して退出する時にも、前記人物の数を正確に計数することができる。
【００９０】
次に、本発明の第４の実施の形態について説明する。なお、第１〜第３の実施の形態と同じ構成を有するもの、及び、同じ動作については、その説明を省略する。
【００９１】
図１５は本発明の第４の実施の形態における動画像による人物追跡装置のブロック図である。
【００９２】
ところで、前述されたような第１〜第３の実施の形態においては、得られた複数の人物の経路は、図示されない表示装置の画面上に線で表示した場合には部分的に重なる可能性がある。この場合、新規トラックＴｎｅｗに既存の過去の経路を複製して付与するため、複数の経路を表す線が完全に一致し、図示されない表示装置の画面を見るオペレータには、人物が一人であるのか二人であるのかを判定することができなくなってしまう。そこで、本実施の形態においては、前記表示装置の画面上で線が重なることがないように、出力生成手段１８が外部に出力することができるようになっている。
【００９３】
図１５において、５１は、トラックのそれぞれの経路の一部又は全部における画面上での座標値にバイアス成分を加算することによって経路を修正するトラック経路修復手段であり、出力生成手段１８に接続され、トラック経路複製手段２３から新規トラックＴｎｅｗを受信し、該新規トラックＴｎｅｗの過去の経路が既存トラックＴｋから複製されたものであった場合、過去の経路の画像上での座標値すべてに所定のバイアス成分を加算することによって修正した経路を算出し、修正した経路を改めて新規トラックＴｎｅｗに付与するようになっている。なお、その他の構成については、前記第１の実施の形態と同様であるので、説明を省略する。
【００９４】
次に、前記構成の動画像による人物追跡装置１０の動作について説明する。
【００９５】
図１６は本発明の第１の実施の形態における表示装置の画面の例を示す図、図１７は本発明の第４の実施の形態における表示装置の画面の例を示す図である。
【００９６】
ここで、人物領域抽出手段１２が入力１１を受信して、トラック経路複製手段２３が最も近接した既存トラックＴｋの過去の経路を複製して新規トラックＴｎｅｗに付与するまでの動作については、前記第１の実施の形態と同様であるので、説明を省略する。
【００９７】
そして、トラック経路修復手段５１は、トラック経路複製手段２３から新規トラックＴｎｅｗを受信し、新規トラックＴｎｅｗの過去の経路が既存トラックＴｋから複製して付与されたものであった場合には、過去の経路の画像上での座標値すべてに所定のバイアス成分を加算することによって修正した経路を算出し、該修正した経路を改めて新規トラックＴｎｅｗに付与する。なお、前記バイアス成分の大きさは、経路の推定精度よりは小さいが、出力画像として表示する際には変化を及ぼす程度に大きい値とする。
【００９８】
このように、本実施の形態においては、新規トラックＴｎｅｗの過去の経路が既存トラックＴｋから複製して付与されたものであった場合、バイアス成分を加算することによって修正した経路を改めて新規トラックＴｎｅｗに付与するようになっている。したがって、過去の経路を複製して付与した場合でも、表示装置の画面において、複数の経路を表す線が完全に一致してしまうことがない。
【００９９】
例えば、二人の人物が互いに近接した状態で出入口やエレベータのドアを通過して部屋や店舗から進入した場合、複数の人物が最初に画像内に出現した時に重なっていたために分離することができず、後に複数の人物の位置が遠ざかったために分離される。ここで、新規トラックＴｎｅｗの生成時に、既存トラックＴｋ中に新規トラックＴｎｅｗに近接したトラックがある場合に、最も近接した既存トラックＴｋが保持する過去の経路に関する情報を新規トラックＴｎｅｗに複製して付与するので、最終的に得られる人物Ａ、Ｂに対応するトラックの過去の経路は、別々に生成される。しかし、この場合、新規トラックＴｎｅｗに既存の過去の経路を複製して付与するため、図示されない表示装置の画面には、人物Ａ、Ｂに対応するトラックの過去の経路が、図１６に矢印ａ、ｂとして示されるように、複数の人物が互いに遠ざかるまでの複数の経路を表す線が完全に一致して表示される。そのため、表示装置の画面を見るオペレータには、人物が一人であるのか二人であるのかを判定することができなくなってしまう。
【０１００】
これに対して、本実施の形態においては、バイアス成分を加算することによって修正した経路を改めて新規トラックＴｎｅｗに付与するようになっているので、人物Ａ、Ｂに対応するトラックの過去の経路は、図１７に矢印ａ、ｂとして示されるように、表示装置の画面に表示される。したがって、表示装置の画面を見るオペレータには、人物が一人であるのか二人であるのかを容易に判定することができる。
【０１０１】
なお、前記第１の実施の形態においては、新規トラックＴｎｅｗが現れた時に、最も近接した既存トラックＴｋが保持する過去の経路に関する情報を新規トラックＴｎｅｗに複製して付与するようになっている。しかし、固定されたカメラの画像を入力とする場合、例えば、出入口やエレベータのドアなどのように、新たに人物が出現する可能性がある画像内の区域をあらかじめ特定することができることがある。この場合、前記区域内に新規トラックＴｎｅｗが現れた時であっても、最も近接した既存トラックＴｋが保持する過去の経路を前記新規トラックＴｎｅｗに複製して付与しないようにしてもよい。
【０１０２】
また、前記第４の実施の形態において、過去の経路の座標値に対してあらかじめ定めたバイアス値を加算するようにしているが、三人以上の人物の重なりに対処するために、例えば、擬似乱数を用いることによって、前記バイアス値としてトラック毎に異なる値を加算することもできる。
【０１０３】
さらに、前記第１〜第４の実施の形態においては、動画像による人物追跡装置１０が人物を追跡する場合について説明したが、前記動画像による人物追跡装置１０は、追跡対象が移動する物体であれば、自動車、生物等の他の移動体であっても適用することができる。
【０１０４】
なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。
【０１０５】
【発明の効果】
以上詳細に説明したように、本発明によれば、人物に対応するトラックが適切に生成され、コストを高くすることなく、人物の数を正確に判断することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における動画像による人物追跡装置のブロック図である。
【図２】従来の動画像による人物追跡装置のブロック図である。
【図３】本発明の第１の実施の形態における入力画像の例を示す図である。
【図４】本発明の第１の実施の形態における人物領域の推定結果を示す図である。
【図５】従来の出力結果の例を示す第１の図である。
【図６】本発明の第１の実施の形態における出力結果の例を示す図である。
【図７】本発明の第２の実施の形態における動画像による人物追跡装置のブロック図である。
【図８】従来のトラックを出力する方法を示す図である。
【図９】本発明の第２の実施の形態におけるトラックを出力する方法を示す図である。
【図１０】従来の出力結果の例を示す第２の図である。
【図１１】本発明の第２の実施の形態における出力結果の例を示す図である。
【図１２】本発明の第３の実施の形態における動画像による人物追跡装置のブロック図である。
【図１３】従来の出力結果の例を示す第３の図である。
【図１４】本発明の第３の実施の形態における出力結果の例を示す図である。
【図１５】本発明の第４の実施の形態における動画像による人物追跡装置のブロック図である。
【図１６】本発明の第１の実施の形態における表示装置の画面の例を示す図である。
【図１７】本発明の第４の実施の形態における表示装置の画面の例を示す図である。
【符号の説明】
１０    人物追跡装置
１２    人物領域抽出装置
１３    人物領域／トラック対応付け手段
２１    新規トラック生成手段
２２    近接トラック選択手段
２３    トラック経路複製手段
３５    グループ化手段
４２    トラック間距離算出記憶手段
５１    トラック経路修正手段
【図１】
0003916968.tif 000002
【図２】
0003916968.tif 000003
【図３】
0003916968.tif 000004
【図４】
0003916968.tif 000005
【図５】
0003916968.tif 000006
【図６】
0003916968.tif 000007
【図７】
0003916968.tif 000008
【図８】
0003916968.tif 000009
【図９】
0003916968.tif 000010
【図１０】
0003916968.tif 000011
【図１１】
0003916968.tif 000012
【図１２】
0003916968.tif 000013
【図１３】
0003916968.tif 000014
【図１４】
0003916968.tif 000015
【図１５】
0003916968.tif 000016
【図１６】
0003916968.tif 000017
【図１７】
0003916968.tif 000018