(57)【特許請求の範囲】
【請求項１】
時間連続的に撮影した画像中に現れる特定の歩行者領域を時系列的に与えられ、その歩行者領域の動きをモンテカルロフィルタを用いて推定して時間方向に関連づけることによりその歩行者領域を追跡する歩行者トラッキング方法であって、
歩行者モデルを複数の節点とその節点間を連結する複数のスティックとを有するスケルトンモデルとして構成し、前記スケルトンモデルの状態と１対１の対応をなす点を表す多次元空間である状態空間に、その状態空間の点が示す状態の実現確率の属性をその点に付与して成る粒子を、定義すると共に、当該状態空間に初期状態として複数のスケルトンモデルの粒子を設定する工程と、
第１の時刻における前記状態空間に設定された粒子の組に対し、モンテカルロフィルタの方法に基づいて当該第１の時刻より後の第２の時刻における状態を表す粒子の組を予測する工程と、
前記第２の時刻において与えられた歩行者領域を２値画像化すると共にその２値画像の距離変換画像から成る観測データを生成する工程と、
前記予測工程によって予測された各スケルトンモデルと前記距離変換画像とを比較することにより、第２の時刻における各スケルトンモデルの状態の尤度を算出する工程と、
前記工程によって算出した各スケルトンモデルの尤度に基づいて、前記状態空間におけるスケルトンモデルの粒子の組を抽出すると共に、抽出した粒子の組を第２の時刻における前記状態空間の新たな粒子の組として設定する工程と、備え、
前記粒子の組を予測する工程から前記抽出した粒子の組を新たな粒子の組として設定する工程までの工程を、時刻を進める毎に実行することにより、スケルトンモデルの状態空間における粒子の動きを推定して時間方向に関連づけることにより歩行者領域を追跡することを特徴とする歩行者トラッキング方法。
【請求項２】
前記スケルトンモデルは、胴体スティックと、前記胴体スティックの上端に交差して接続した肩幅スティックと、前記胴体スティックの下端に交差して接続した腰幅スティックと、前記胴体スティックの延長部としての頭長スティックと、前記腰幅スティック及び肩幅スティックの両端部にそれぞれ接続された４本の四肢スティックと、の８本のスティックからなることを特徴とする請求項１に記載の歩行者トラッキング方法。
【請求項３】
前記スケルトンモデルは、前記肩幅及び腰幅スティックの長さをそれぞれゼロとする状態と、前記肩幅、腰幅、及び両手スティックの長さをゼロとする状態と、前記肩幅及び両手スティックの長さをゼロとする状態と、を取り得ることを特徴とする請求項２に記載の歩行者トラッキング方法。
【請求項４】
前記スケルトンモデルの１つの状態は、そのスケルトンを構成する各スティックの位置と角度とによって決定され、前記各スティックの相互の空間配置が人体の構造上可能な空間配置となるように制約されていることを特徴とする請求項１乃至請求項３のいずれか一項に記載の歩行者トラッキング方法。
【請求項５】
前記尤度を算出する工程で用いる距離変換画像は、歩行者領域を表す黒の輪郭部から輪郭内部に行くほど高輝度と成るように白黒濃度で表現した画像であり、
前記予測された各スケルトンモデルの尤度は、スケルトンモデルと距離変換画像とを重ねた状態で、スケルトンモデルを構成するスティック上の複数の点から、各点における該スティックの法線方向に存在する距離変換画像の輝度極値点までの距離を用いて算出されることを特徴とする請求項１乃至請求項４のいずれか一項に記載の歩行者トラッキング方法。
【請求項６】
前記粒子の組を予測する工程と前記新たな粒子の組を設定する工程とにおいて乱数が用いられ、前記乱数が疑似乱数生成アルゴリズムを用いて生成されることを特徴とする請求項１乃至請求項５のいずれか一項に記載の歩行者トラッキング方法。
【請求項７】
前記予測工程によって予測された各スケルトンモデルにおける、胴体スティックと頭長スティックとの節点の座標の分散を算出し、当該分散が一定の値を超える場合には追跡を終了する工程、をさらに備えることを特徴とする請求項１乃至請求項６のいずれか一項に記載の歩行者トラッキング方法。
【請求項８】
時間連続的に撮影された画像を時系列的に受信する画像受信手段と、
前記画像受信手段によって受け取った画像から歩行者候補領域を抽出し、前記抽出した歩行者候補領域を歩行者領域と非歩行者領域とに分類すると共に、特定の歩行者領域を選択する歩行者領域選択手段と、
前記歩行者領域選択手段によって選択された歩行者領域を時系列的に与えられ、その歩行者領域の動きを請求項１乃至請求項７のいずれか一項に記載の歩行者トラッキング方法を用いて追跡するトラッキング手段と、
前記トラッキング手段によって追跡される歩行者領域を時系列的に表示する歩行者軌跡表示手段と、を備えることを特徴とする歩行者トラッキング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続的に歩行者を撮影した画像に基づいて歩行者を追跡する歩行者トラッキング方法および歩行者トラッキング装置に関する。
【背景技術】
【０００２】
従来から、画像データに基づいて移動体の動き、特に人の動きを自動的に追跡する方法や装置があり、例えば、音楽分野やスポーツ分野において、動作の解析と評価に基づく能力開発や様々な目的のために開発されている。一例を挙げると、コンピュータに入力されたダンスする被験者の映像から人物シルエット画像を抽出し、色処理によって人物シルエット画像から被験者の各部位を検出すると共に人物シルエット画像をスケルトン画像に変換し、そのスケルトン画像をハフ変換して各部位を直線近似し、各部位をカルマンフィルタにより時間追跡する身体動作解析装置が知られている（例えば、特開２００５−３３９１００号公報参照）。【０００３】
上述の身体動作解析装置は、時間追跡されたハフパラメータにＳＶＤ（Ｓｉｎｇｕｌａｒ  Ｖａｌｕｅ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ；特異値分解）を施して身体動作の動き特徴量を抽出し、その後、抽出した動き特徴量の時系列データをフーリエ変換して周波数解析し、被験者の身体動作全体のリズム要素を抽出評価する装置である。【０００４】
また、画像データに基づいて歩行者を自動的に追跡する歩行者トラッキング方法及び歩行者トラッキング装置は、事故防止や監視などの用途に応えるため、高精度化、効率化が進められている。すなわち、誤動作（誤追跡）のない、より確実で、より高速な、歩行者トラッキング方法や装置が求められている。【０００５】
ところで、画像を処理して歩行者の動きを推定し、時間方向に関連づける手段として、種々のフィルタ技術が用いられる。フィルタは、画像データなどの入力信号に対して望みの応答の推定を出力する方法又は装置である。歩行者トラッキングに用いられるフィルタは、雑音の加わっている現在の入力信号から雑音を除去すると共に未来の信号値を、望みの応答の推定として出力する。このようなフィルタによる未来の推定は、フィルタによる予測と呼ばれる。【０００６】
例えば、カルマンフィルタは、上述の特許文献（特開２００５−３３９１００号公報）で用いられているように、移動体一般の追跡を行うオブジェクトトラッキングの分野で広く用いられており、歩行者トラッキングへも適用されている。【０００７】
カルマンフィルタを用いるトラッキングの概要を説明する。カルマンフィルタは、観測ベクトルｙｔから逐次的に各時刻における状態ベクトルｘｔを推定する。ここで、ｙｔ，ｘｔ、後述のＦｔなどにおける下付文字のｔは、ある特定の時刻を表し、その時刻よりも１ステップ前の時刻は、ｔ−１によって表わされる。すなわち、観測（例えば、時系列画像の撮影）は、時間間隔（ステップ）毎に行われる。これらの下付き文字による時刻の表記方法は、以下においても同様に用いられる。観測ベクトルｙｔは、観測可能な時系列データによって数学的に定義される観測空間のベクトルである。また、状態ベクトルｘｔは、観測ベクトルを本質的に決定付けるシステムの状態を示す状態空間と呼ばれる空間のベクトルであり、ガウス−マルコフ過程（Ｇａｕｓｓ−Ｍａｒｋｏｖ  ｐｒｏｃｅｓｓ）に従うと仮定される（例えば、片山徹著「応用カルマンフィルタ」朝倉書店、１９８３年、参照）。【０００８】
また、カルマンフィルタは、状態ベクトルの時間方向の遷移を特徴付けるシステムモデルの式、ｘｔ＝Ｆｔｘｔ−１＋Ｇｔｖｔ、及び、状態ベクトルから観測ベクトルへの写像を特徴付ける観測モデルの式、ｙｔ＝Ｈｔｘｔ＋ｗｔの両者に線形性、及びガウス性を仮定する。ここで、ｖｔとｗｔは、それぞれプラント雑音、観測雑音と呼ばれるガウス白色雑音であり、Ｆｔ，Ｇｔ，Ｈｔは、それぞれ状態遷移行列、駆動行列、観測行列と呼ばれる行列である。これらの式の形から、観測ベクトルｙｔと状態ベクトルｘｔが、線形性を有することがわかる。【０００９】
上述の各モデルにガウス性を仮定することは、状態空間における状態ベクトルｘの確率分布、すなわち状態確率分布ｐ（ｘ）にガウス分布の仮定を置くことに相当する。歩行者トラッキングにおいて、状態確率分布がガウス分布から大きく外れる場合として、例えば、一時的に歩行者が陰に隠れるオクルージョンの存在、トラッキングターゲット（歩行者）の速度の急変、トラッキングターゲットに似た複数のオブジェクトの存在、などの状況がある。このような場合にカルマンフィルタを適用すると、実際の状態確率分布として、図３６（ａ）に示すようなガウス分布とは異なる分布が想定されるにも拘わらず、図３６（ｂ）に示すガウス分布を用いて状態を推定することになる。従って、ガウス分布を前提としているカルマンフィルタ適用の限界のため、このような場合に、十分な精度の状態推定ができなくなる。【００１０】
そこで、ガウス性や線形性を前提としないモンテカルロフィルタを用いてトラッキングを行う手法が提案され、コンデンセーション（ＣＯＮＤＥＮＳＡＴＩＯＮ：ｃｏｎｄｉｔｉｏｎａｌ  ｄｅｎｓｉｔｙ  ｐｒｏｐａｇａｔｉｏｎ）と呼ばれている（例えば、ミカエル・イザード（Ｍｉｃｈａｅｌ  Ｉｓａｒｄ）、アンドリュー・ブレイク（Ａｎｄｒｅｗ  Ｂｌａｋｅ）著  「コンデンセーション−コンディショナル  デンシティ  プロパゲーション  フォー  ヴィジュアル  トラッキング（Ｃｏｎｄｉｔｉｏｎａｌ  Ｄｅｎｓｉｔｙ  Ｐｒｏｐａｇａｔｉｏｎ  ｆｏｒ  Ｖｉｓｕａｌ  Ｔｒａｃｋｉｎｇ）」、インターナショナル  ジャーナル  オン  コンピュータ  ビジョン（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ）、Ｖｏｌ．２９，ｐｐ５−２８（１９８９）、参照）。【００１１】
モンテカルロフィルタを用いる場合、カルマンフィルタを用いる場合と同様に、観測ベクトルに基づいて、各時刻における状態ベクトルが逐次的に推定される。モンテカルロフィルタを用いる推定において、状態確率分布は、状態空間の１点を示すベクトルを保持する粒子の分布に基づいて生成される。従って、モンテカルロフィルタは、上述のカルマンフィルタにおけるシステムモデルと状態空間モデルとを一般化した非線形、非ガウス型のモデルを扱うことができる（例えば、北川源四朗著「時系列解析入門」岩波書店、２００５年、参照）。【００１２】
そこで、ガウス性などの仮定を置く従来の手法によると失敗するような、オクルージョンの存在や速度急変の状況においても、コンデンセーションによると、高精度な確率的状態推定、すなわち誤動作のより少ないトラッキングが実現可能と考えられる。【００１３】
（モンテカルロフィルタの概要）
ここで、モンテカルロフィルタの概要を説明する。モンテカルロフィルタにおけるシステムモデルと観測モデルとは、それぞれ次の式（１）（２）で表わされる。
【数１】
0004686663.tif 000002
【００１４】
状態空間における状態ベクトルｘｔの状態確率分布ｐ（ｘｔ）は、次式（３）（４）のようにＮ個の粒子のセット｛ｓｔ（ｎ），ｎ＝１，．．，Ｎ｝によって表現される。ここで、ｓｔ（ｎ）はｎ番目の粒子が保持する状態空間Ｘの１点を示すベクトルであり、δ（ｘ）はデルタ関数である。
【数２】
0004686663.tif 000003
【００１５】
モンテカルロフィルタにおける状態確率分布は、離散的な粒子の粗密によって表現される。例えば、本来の確率分布が図３７（ａ）に示される分布の場合に、モンテカルロフィルタにおいては、図３７（ｂ）に示すように、確率分布が離散的な粒子の粗密によって表現される。従って、粒子の数が多いほど、状態確率分布の表現がより精度良くなる。このような粒子による表現によって、どのような状態確率分布も表現可能となる。【００１６】
（モンテカルロフィルタを用いた状態推定アルゴリズム）
次に、上述のモンテカルロフィルタを用いた状態推定のアルゴリズムを説明する。図３８は、Ｎ個の各粒子ｓ（１），ｓ（２），．．，ｓ（Ｎ）に対して時間ステップ毎に行う処理を示す。この図において、横軸は時間軸であり、縦軸は状態空間（１次元で表されている）を示す。また、黒丸や破線白丸で示している粒子の大きさは、その状態があり得る尤度（もっともらしさ、実現性）を示す。モンテカルロフィルタを用いる処理は、この図に示すように、予測、計測、再抽出（再設定）の３ステップの処理の繰り返えしである。【００１７】
上述の３ステップの繰り返しにより、ある時刻ｔにおける状態確率分布ｐ（ｘｔ）が、その前の時刻ｔ−１の確率分布ｐ（ｘｔ−１）と観測データとを用いて逐次的に求められ、各時刻における状態確率分布が次々推定される。そして、状態確率分布は、ガウス性を前提とすることなく、各時刻の状態に応じて、柔軟に決められたものである。従って、状態確率分布が観測データによって補正され、かつ、その補正された状態確率分布を用いて、次の状態確率分布が求められるので、トラッキングの結果を表す状態空間における粒子の軌跡がより確からしいものとなる。【００１８】
予測ステップでは、各粒子（ｎ＝１，．．，Ｎ）に対し、過程確率密度ｐ（ｘｔ｜ｘｔ−１＝ｓｔ−１（ｎ））に従って、次状態ｓ’ｔ（ｎ）を予測する（以下、上述の北川源四朗著「時系列解析入門」参照）。【００１９】
計測ステップでは、各粒子に対し、予測された状態の尤度πｔ（ｎ）を観測確率密度ｐ（ｙｔ｜ｘｔ）に従って算出する。言い換えると、このステップでは、各粒子に対応するトラッキングターゲットモデルの状態と、観測データ（トラッキングターゲットの画像）との、似かより具合（ｌｉｋｅｌｙｆｏｏｄ）を、適切に設定した比較方法に基づいて比較することにより求める。ここでｙｔは時刻ｔにおける観測ベクトル（観測データ）である。【００２０】
再抽出ステップでは、以下の（ｉ）（ｉｉ）（ｉｉｉ）の処理を、粒子の個数Ｎに応じてＮ回繰り返すことにより、時刻ｔにおける粒子のセット｛ｓｔ（ｎ），ｎ＝１，．．，Ｎ｝を抽出する。言い換えると、このステップでは、予測した状態を表す粒子の尤度に基づいて、尤度の大きな粒子のところには粒子数を多くし、尤度の小さな粒子のところには粒子数を少なくしたり、ゼロにしたりして、状態空間におけるＮ個の粒子の再配分（再設定）を行い、観測データによる補正を反映した、時刻ｔにおける状態確率分布が決定される。
【数３】
0004686663.tif 000004
【００２１】
上述した予測、計測、再抽出（再設定）の３ステップの処理によって、時刻ｔにおける粒子の状態確率分布ｐ（ｘｔ）が得られる。モンテカルロフィルタを用いる場合、アプリケーションに応じて、状態空間Ｘ、すなわちターゲットのモデルなど、をどのように構成するか、予測ステップにおいて状態遷移、特に遷移に対する制約条件など、をどのように行うか、計測ステップにおける粒子の尤度の算出法、すなわち比較方法など、をどうするか、などについて適切に設定する必要がある。【００２２】
次に、コンデンセーションを用いる例として、ターゲットの輪郭を用いてターゲットを追跡する輪郭トラッキングを説明する。輪郭トラッキングの手法では、トラッキングターゲットの輪郭をＢ−スプライン曲線によってモデル化し、そのスプライン曲線の制御点の座標値などからなる空間を状態空間として定義する。そして、その状態空間における点を指し示す状態ベクトルの動き（遷移）を、モンテカルロフィルタを用いて推定（予測）する。言い換えると、状態空間の１つの点が、輪郭の１つの状態に一対一対応をしており、状態空間において、時間経過とともに、ある点（状態）から、ある点（状態）に現在の状態が移動、すなわち遷移することになる。その遷移は、ある制約条件のもとで確率的に実現されると考えられる。【００２３】
状態遷移を予測する場合に、予め遷移の可能性のある状態を制限しておくことにより、つまり状態遷移に制約をかけることにより、予測の精度を上げることができる。従来行われているコンデンセーションによる輪郭トラッキングでは、主成分分析による事前学習を行うことによって、状態遷移に制約をかけることが行われている。以下、コンデンセーションによる輪郭トラッキングにおける状態空間、状態遷移、及び尤度の算出について示す。【００２４】
（状態空間）
トラッキングターゲットの輪郭をＢ−スプライン曲線により近似し、Ｂ−スプライン曲線の制御点の位置や速度を状態空間Ｘとして定義する。【００２５】
（状態遷移）
主成分分析を用いて教師データを事前に学習する。状態空間がＭ次元の場合、第１主成分ベクトルから第Ｌ主成分ベクトル（Ｌ＜Ｍ）の線形結合を基に状態遷移（ｓｔ’−ｓｔ−１）を決定して状態遷移の自由度をＭからＬに下げる。これにより、教師データが偏っている方向に状態が散らばるように、すなわち、教師データの特徴に従うように、状態遷移を制約する。【００２６】
（尤度の算出）
粒子の尤度πは、以下の手順に基づき、Ｂ−スプライン曲線と入力画像との比較によって算出される。まず、予測されたＢ−スプライン曲線上のＫ個の点からなる基点を設定し、そこから法線方向に長さμの直線を設定する。次に、この直線上において画像の特徴点であるエッジ（ターゲット部分の画像輪郭）を検出し、ｋ番目の基点から検出されたエッジまでの距離をδｋとする。輪郭の状態を表す状態空間における粒子の尤度πは、このδｋを用いて、次式（７）のように算出される。
【数４】
0004686663.tif 000005
【００２７】
上述のコンデンセーションによる輪郭トラッキングは、手のひらや葉っぱなどのトラッキングに適用され、優れた成果をあげている。また、コンデンセーションのフレームワークを用いた歩行者トラッキング手法が、提案がされている（例えば、イザード（Ｉｓａｒｄ）、マッコーミック（ＭａｃＣｏｒｍｉｃｋ）著  「ア  ベイジアン  マルチプル−ブロブ  トラッカ（Ａ  Ｂａｙｅｓｉａｎ  Ｍｕｌｔｉｐｌｅ−Ｂｌｏｂ  Ｔｒａｃｋｅｒ）」、ＩＥＥＥインターナショナル  コンファレンス  オン  コンピュータ  ビジョン（ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ）、ｐｐ３４−４１（２００１）、参照）。【００２８】
しかしながら、コンデンセーションによる輪郭トラッキングを歩行者トラッキングに適用した場合、次のような問題点がある。歩行者のようなオブジェクトは、輪郭の遷移の方向や大きさが、時間とともに著しく変化する。このようなオブジェクトの輪郭に対して、状態遷移を適切に制約することは一般に困難であり、従って、コンデンセーションによる輪郭トラッキングは歩行者のトラッキングには不適である。【００２９】
歩行者の輪郭の遷移を、図３９（ａ）（ｂ）（ｃ）を参照して説明する。これらの図は、ある実シーケンスにおける連続する３フレームの画像から検出した歩行者領域を示す。図３９（ａ）（ｂ）の２つの歩行者領域の間には、上半身の輪郭に大きな変動はないが、下半身の輪郭に大きな変動が見られる。一方、図３９（ｂ）（ｃ）の間では、上半身の輪郭が大きく変動しているが、下半身の輪郭に大きな変動はない。このように、歩行している人の輪郭は、時間と共に変化、すなわち、状態が遷移し、その変化する部位や変化の大きさも時間的に変化している。【００３０】
また、上述したように、コンデンセーションによる輪郭トラッキングでは、主成分分析によって状態遷移を制約する。従って、状態空間における教師データが、ある特定の方向に偏っている場合に大きな制約の効果が得られる。しかしながら歩行者の輪郭の遷移は多様であり、教師データの分布がばらつくので偏りが少ない。このような状態空間に対して、主成分分析に基づいて状態遷移を適切に制約することは、原理的に無理がある。状態遷移を制約するのは、状態遷移に対する推定の精度を向上させるためである。従って、制約ができなければ推定の精度の向上が望めなく、誤動作のないトラッキングができないことになる。【００３１】
そこで、安定で誤動作のない、頑健（ロバスト）な歩行者トラッキングを実現するには、輪郭を特徴量として用いる方法に替えて、状態遷移の方向や大きさが、より安定となる特徴量を採用し、その特徴量に基づいて推定の精度を向上させることが必要である。【００３２】
また、モンテカルロフィルタを用いると、カルマンフィルタを用いる場合のガウス性などの仮定は必要なくなり、より頑健なトラッキングが実現可能となるので、このフレームワークを用いた種々のトラッキング手法が提案されている。しかしながら、歩行者のトラッキングに適合した実用的な手法は、いまだ提案されていない。例えば、上述のイザード（Ｉｓａｒｄ）とマッコーミック（ＭａｃＣｏｒｍｉｃｋ）の文献に示されるようなコンデンセーションを用いる歩行者トラッキングは、画像中における歩行者領域が大きい場合に適用され、かつ、３次元情報などを用いた精密な歩行者モデルに基づいてトラッキングするものであり、歩行者領域が小さい画像に対応する必要がある実用的な用途には不適である。【００３３】
また、監視用途の歩行者トラッキングにおいては、一般的に、ダイナミックレンジの広いグレイスケール画像が用いられ、さらに、夜間のトラッキングの場合、赤外線カメラの使用が考えられるので、これらの状況に対応して歩行者トラッキングを可能とするためには、色情報を利用しないトラッキング手法が望まれる。
【発明の開示】
【００３４】
本発明は、上記課題を解消するものであって、簡単な構成により、色情報を用いることなく画像中の歩行者の動きを推定し、頑健な歩行者トラッキングを実現できる歩行者トラッキング方法及び歩行者トラッキング装置を提供することを目的とする。
【００３５】
上記目的を達成するために、本発明は、時間連続的に撮影した画像中に現れる特定の歩行者領域を時系列的に与えられ、その歩行者領域の動きをモンテカルロフィルタを用いて推定して時間方向に関連づけることによりその歩行者領域を追跡する歩行者トラッキング方法であって、歩行者モデルを複数の節点とその節点間を連結する複数のスティックとを有するスケルトンモデルとして構成し、前記スケルトンモデルの状態と１対１の対応をなす点を表す多次元空間である状態空間に、その状態空間の点が示す状態の実現確率の属性をその点に付与して成る粒子を、定義すると共に、当該状態空間に初期状態として複数のスケルトンモデルの粒子を設定する工程と、第１の時刻における前記状態空間に設定された粒子の組に対し、モンテカルロフィルタの方法に基づいて当該第１の時刻より後の第２の時刻における状態を表す粒子の組を予測する工程と、前記第２の時刻において与えられた歩行者領域を２値画像化すると共にその２値画像の距離変換画像から成る観測データを生成する工程と、前記予測工程によって予測された各スケルトンモデルと前記距離変換画像とを比較することにより、第２の時刻における各スケルトンモデルの状態の尤度を算出する工程と、前記工程によって算出した各スケルトンモデルの尤度に基づいて、前記状態空間におけるスケルトンモデルの粒子の組を抽出すると共に、抽出した粒子の組を第２の時刻における前記状態空間の新たな粒子の組として設定する工程と、備え、前記粒子の組を予測する工程から前記抽出した粒子の組を新たな粒子の組として設定する工程までの工程を、時刻を進める毎に実行することにより、スケルトンモデルの状態空間における粒子の動きを推定して時間方向に関連づけることにより歩行者領域を追跡するものである。
【００３６】
このような構成によれば、モンテカルロフィルタを用いると共に、歩行者のモデルとしてスケルトンモデルを用いるので、歩行者の輪郭モデルを用いる場合に比べて、画像中の歩行者領域の形状の時間変化に追随して、頑健な歩行者トラッキングを実現できる。すなわち、スケルトンモデルは、歩行者の胴体や四肢をモデル化することができ、従って、輪郭を用いる場合とは異なり、人体の胴体や四肢の構造上の制約に基づいてスケルトンモデルの形状の変化を制約できるので、状態空間におけるスケルトンモデルの状態遷移を確実に合理的に制約できる。このような制約を設けることにより、トラッキングの確実性が高められ、頑健な歩行者トラッキングが可能となる。
【００３７】
また、２値画像化した歩行者領域を変換した距離変換画像を尤度算出の比較対象として用いるので、尤度をより精度良く算出することができる。すなわち、歩行者領域の距離変換画像は、歩行者領域の外形に現れた歩行者の四肢の状態を反映したものとなるので、スケルトンモデルと比較する観測データとして好適であり、精度良く尤度を算出できる。また、２値化画像を用いるので、画像の色情報を用いる必要がなく、夜間の赤外線画像などを用いる監視用の歩行者トラッキングに適用する場合においても精度良くかつ頑健な歩行者トラッキングが可能である。
【００３８】
本発明は、上述の改良された発明において、前記スケルトンモデルは、胴体スティックと、前記胴体スティックの上端に交差して接続した肩幅スティックと、前記胴体スティックの下端に交差して接続した腰幅スティックと、前記胴体スティックの延長部としての頭長スティックと、前記腰幅スティック及び肩幅スティックの両端部にそれぞれ接続された４本の四肢スティックと、の８本のスティックからなるものである。
【００３９】
このような構成によれば、人体の特徴的な構造を適切に反映したスケルトンモデルを、簡単に構成できる。また、スケルトンモデルの状態を表すための変数の数として、多過ぎない適切な数を選ぶことができるので、状態変数の数を減らし、遷移可能な状態数を削減でき、従って、トラッキング精度を向上させることができる。
【００４０】
本発明は、上述の改良された発明において、前記スケルトンモデルは、前記肩幅及び腰幅スティックの長さをそれぞれゼロとする状態と、前記肩幅、腰幅、及び両手スティックの長さをゼロとする状態と、前記肩幅及び両手スティックの長さをゼロとする状態と、を取り得るものである。
【００４１】
このような構成によれば、画像中に現れる歩行者の移動方向を反映して、スケルトンモデルを選択することができる。例えば、画像中を左方または右方に移動する歩行者は、側面を見せて歩行しており、肩幅や腰幅は殆ど認識されないので、肩幅スティックや腰幅スティックの長さをゼロとしたスケルトンモデルが好適に用いられる。
【００４２】
本発明は、上述の改良された発明において、前記スケルトンモデルの１つの状態は、そのスケルトンを構成する各スティックの位置と角度とによって決定され、前記各スティックの相互の空間配置が人体の構造上可能な空間配置となるように制約されているものである。
【００４３】
このような構成によれば、互いに連結された各スティックの相互の空間配置が、人体の構造上可能な空間配置となるように、各スティックの位置と角度によって制約されているので、歩行者の外見の変化を、不自然とならないように制約して、スケルトンモデルの状態遷移を制約できる。
【００４４】
本発明は、上述の改良された発明において、前記尤度を算出する工程で用いる距離変換画像は、歩行者領域を表す黒の輪郭部から輪郭内部に行くほど高輝度と成るように白黒濃度で表現した画像であり、前記予測された各スケルトンモデルの尤度は、スケルトンモデルと距離変換画像とを重ねた状態で、スケルトンモデルを構成するスティック上の複数の点から、各点における該スティックの法線方向に存在する距離変換画像の輝度極値点までの距離を用いて算出されるものである。
【００４５】
このような構成によれば、スケルトンモデルの各スティックと、距離変換画像における高輝度部分とは、共に人体の骨格を反映したものであり、これらの重なり具合を輝度極値点までの距離によって見積もることができるので、推定されたスケルトンモデルの尤度を、精度良く算出することができる。例えば、このような輝度極値点までの距離の和が小さいほど重なり度合いが大きく、尤度が大きいとされる。
【００４６】
本発明は、上述の改良された発明において、前記粒子の組を予測する工程と前記新たな粒子の組を設定する工程とにおいて乱数が用いられ、前記乱数が疑似乱数生成アルゴリズムを用いて生成されるものである。
【００４７】
このような構成によれば、疑似乱数生成アルゴリズムを用いて生成した乱数は、長周期、高次元均等分布の特徴を有するので、モンテカルロフィルタに好適であり、高精度の歩行者トラッキングを実現できる。
【００４８】
本発明は、上述の改良された発明において、前記予測工程によって予測された各スケルトンモデルにおける、胴体スティックと頭長スティックとの節点の座標の分散を算出し、当該分散が一定の値を超える場合には追跡を終了する工程、をさらに備えるものである。
【００４９】
このような構成によれば、非歩行者を誤って歩行者領域として抽出してしまった場合であっても、節点の座標の分散から、追跡対象が歩行者でないことを判別し、追跡を終了することができる。
【００５０】
また、本発明は、時間連続的に撮影された画像を時系列的に受信する画像受信手段と、前記画像受信手段によって受け取った画像から歩行者候補領域を抽出し、前記抽出した歩行者候補領域を歩行者領域と非歩行者領域とに分類すると共に、特定の歩行者領域を選択する歩行者領域選択手段と、前記歩行者領域選択手段によって選択された歩行者領域を時系列的に与えられ、その歩行者領域の動きを上述した本発明の歩行者トラッキング方法のいずれかを用いて追跡するトラッキング手段と、前記トラッキング手段によって追跡される歩行者領域を時系列的に表示する歩行者軌跡表示手段と、を備えることを特徴とする歩行者トラッキング装置である。
【００５１】
このような構成によれば、一時的に歩行者が陰に隠れるオクルージョンの存在、歩行者の速度の急変、注目している歩行者に似た複数の移動物体の存在、などの状況においても、簡単な構成により、色情報を用いることなく画像中の歩行者の動きを推定し、高精度で頑健な歩行者トラッキングを実現して、人の動きを自動的に追跡し、動きの意図や動作を解析したり、侵入者を監視したりすることができる。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施形態に係る歩行者トラッキング装置のブロック構成図。
【図２】同上装置における歩行者トラッキング処理のフローチャート。
【図３】本発明の一実施形態に係る歩行者トラッキング方法における処理のフローチャート。
【図４】同上歩行者トラッキング方法において用いられる状態空間の概念説明図。
【図５】同上歩行者トラッキング方法に画像と歩行者モデルの関係の説明図。
【図６】同上歩行者トラッキング方法におけるモンテカルロフィルタに基づく歩行者トラッキングの概念説明図。
【図７】（ａ１）（ａ２）（ａ３）は同上歩行者トラッキング方法が処理対象とする歩行者領域の画像例を示す図、（ｂ１）（ｂ２）（ｂ３）は同歩行者領域画像から得られたモルフォロジカルスケルトンの図、（ｃ１）（ｃ２）（ｃ３）は同モルフォロジカルスケルトンに人の四肢の概念を反映させた図。
【図８】（ａ）〜（ｄ）は同上歩行者トラッキング方法において用いられるスケルトンモデルの図。
【図９】同上歩行者トラッキング方法において用いられるスケルトンモデルのスティックの座標を定義する座標系の図。
【図１０】同上歩行者トラッキング方法において用いられるスケルトンモデルの形状に対する制約の説明図。
【図１１】（ａ）は同上歩行者トラッキング方法の処理対象の歩行者領域の図、（ｂ）は同歩行者領域に距離変換を施して得られた距離変換画像を示す図。
【図１２】（ａ）は同上歩行者トラッキング方法における距離変換画像と予測されたスケルトンモデルとを重ね合わせた図、（ｂ）は同重ね合わせた図から尤度を求める方法を説明する図。
【図１３】（ａ）（ｂ）は同上歩行者トラッキング方法において尤度を求める方法の他の例を説明する図。
【図１４】比較対照のコンデンセーションによる歩行者輪郭トラッキング方法において用いられる座標系の説明図。
【図１５】トラッキング精度の評価のための評価基準の説明図。
【図１６】（ａ）〜（ｉ）は歩行者トラッキング方法の評価に用いられる画像シーケンスの一部を示す図。
【図１７】（ａ）（ｂ）は歩行者トラッキング方法の評価に用いられるガードレール型静的誤検出評価のための画像シーケンスの一部を示す図。
【図１８】（ａ）（ｂ）（ｃ）は歩行者トラッキング方法の評価に用いられるポール型静的誤検出評価のための画像シーケンスの一部を示す図。
【図１９】（ａ）（ｂ）は歩行者トラッキング方法の評価に用いられる動的誤検出評価のための画像シーケンスの一部を示す図。
【図２０】（ａ）（ｂ）（ｃ）は歩行者トラッキング方法の評価に用いられる実画像シーケンスの一部を示す図、（ｄ）は（ａ）から得られた２値画像を示す図。
【図２１】（ａ）はシーケンスＮに対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図２２】（ａ）はシーケンスＲに対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図２３】（ａ）はシーケンスＧ１に対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図２４】（ａ）はシーケンスＧ２に対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図２５】（ａ）はシーケンスＰ１に対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図２６】（ａ）はシーケンスＰ２に対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図２７】（ａ）はシーケンスＰ３に対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図２８】（ａ）はシーケンスＣ１に対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図２９】（ａ）はシーケンスＣ２に対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図３０】（ａ）はシーケンスＣ３に対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図３１】（ａ）はシーケンスＣ４に対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図３２】（ａ）はシーケンスＵに対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図３３】（ａ）はシーケンスＳ１に対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図３４】歩行者トラッキングに適応的スケルトンモデルを用いた場合の重心誤差の評価結果を示す図。
【図３５】（ａ）はシーケンスＳ２に対する重心誤差の評価結果を示す図、（ｂ）は同スケール誤差の評価結果を示す図。
【図３６】（ａ）は歩行者トラッキングにおいて想定される確率密度分布の例を示す図、（ｂ）はカルマンフィルタに用いられるガウス型の確率密度分布図。
【図３７】（ａ）は歩行者トラッキングにおいて想定される確率密度分布の例を示す図、（ｂ）は同確率分布のモンテカルロフィルタにおける表現例を示す分布図。
【図３８】モンテカルロフィルタにおける状態予測の概念説明図。
【図３９】（ａ）（ｂ）（ｃ）は歩行者トラッキングの対象となる歩行者領域の画像を示す図。
【発明を実施するための最良の形態】
【００５３】
以下、本発明の実施形態に係る歩行者トラッキング装置と歩行者トラッキング方法について、図面を参照して説明する。【００５４】
（歩行者トラッキング装置）
図１は本発明の一実施形態に係る歩行者トラッキング装置１のブロック構成を示し、図２は歩行者トラッキング装置１における処理の流れを示す。歩行者トラッキング装置１は、撮像装置１０によって時間連続的に撮影された画像を時系列的に受信する画像受信手段２と、画像受信手段２によって受け取った画像から歩行者候補領域を抽出し、抽出した歩行者候補領域を歩行者領域と非歩行者領域とに分類すると共に、特定の歩行者領域を選択する歩行者領域選択手段３と、歩行者領域選択手段３によって選択された歩行者領域を時系列的に与えられ、その歩行者領域の動きを、歩行者をモデル化したスケルトンモデルと歩行者領域から得た距離変換画像とモンテカルロフィルタとを用いて推定して時間方向に関連づけることによりその歩行者領域を追跡するトラッキング手段４と、トラッキング手段４によって追跡される歩行者領域を時系列的に表示する歩行者軌跡表示手段５と、を備えている。【００５５】
上述の歩行者トラッキング装置１における処理は、画像受信手段２による１フレーム画像入力（Ｓ１）、歩行者領域選択手段３による歩行者候補領域の抽出（Ｓ２）、同じく歩行者領域選択手段３による候補領域の分類（Ｓ３）、そして、トラッキング手段４による歩行者状態予測（歩行者トラッキンング）（Ｓ４）、の大きな４つの処理要素から成る。【００５６】
上述の撮像装置１０は、例えば、イメージセンサなどを用いたテレビカメラなどが用いられる。画像受信手段２は、撮像装置１０から入力された画像を受け取り、その画像に対して雑音除去や輪郭強調などの適切な前処理を施し、処理後の画像を歩行者領域選択手段３に入力する。【００５７】
歩行者領域選択手段３は、入力された画像に対し、背景差分法やオプティカルフローの検出、ステレオマッチングによる３次元距離計測、肌色検出、顔輪郭検出などの処理を施し、その画像から歩行者の全身像を示す画像部分と想定される歩行者候補領域を抽出する。抽出された歩行者候補領域には、通常、誤検出された領域も多く含まれる。そこで、歩行者領域選択手段３は、抽出した候補領域を歩行者領域と非歩行者領域とに分類する。この分類は、例えば、ニューラルネットワークやサポートベクタマシン、ブースティングなどによる機械学習を用いると共に、ハール変換やガボール変換などにより得られる画像の特徴量に基づく処理によって行われる。【００５８】
トラッキング手段４は、歩行者として分類された歩行者領域の情報に基づいて、歩行者領域を時間方向に関連付けるトラッキングを行う。つまり、上述の歩行者領域選択手段３による歩行者候補領域の抽出と分類は、一般に、各フレーム毎に、すなわち１枚の画像毎に、独立に処理されるので、この処理における歩行者領域は、時間方向には何等対応付けされておらず、また対応付けすることができない。そこで、トラッキング手段４によって歩行者領域が時間方向に関連付けられる。このトラッキング手段４による処理は、後述する歩行者トラッキング方法に基づいて行われる。【００５９】
トラッキング手段４による歩行者トラッキングの主な目的は、歩行者の動き情報を推定し、歩行者領域を時間方向に関連付けることである。歩行者トラッキングによると、歩行者が他の物体と重なってしまい、歩行者の画像情報が得られない、いわゆるオクルージョンなどの影響のため、１枚の画像からは歩行者を検出できない場合に、歩行者の動きを推定することができる。歩行者トラッキングで得られた情報は、例えば、カメラを搭載した自動車における歩行者との衝突検出処理や、多数の歩行者の存在する状況のもとで、特定の歩行者を同定して追跡する処理などに用いることができる。【００６０】
（歩行者トラッキング方法の概要）
図３は本発明の一実施形態に係る歩行者トラッキング方法における処理のフローチャートを示し、図４は歩行者トラッキング方法において用いられる状態空間Ｘを示し、図５は歩行者トラッキング方法における画像と歩行者モデルの関係を示す。歩行者トラッキング方法は、時間連続的に撮影した画像中に現れる特定の歩行者領域を時系列的に与えられ、その歩行者領域の動きをモンテカルロフィルタを用いて推定して時間方向に関連づけることによりその歩行者領域を追跡する方法である。この方法は、上述の歩行者トラッキング装置１におけるトラッキング手段４において実行される。【００６１】
歩行者トラッキング方法は、図３に示すように、初期設定の工程（Ｓ１２）、状態遷移と予測の工程（Ｓ１３）、観測データ生成工程（Ｓ１５）、尤度算出工程（Ｓ１６）、粒子再設定工程（Ｓ１７）、などから構成される。【００６２】
まず、工程Ｓ１１において時間変数ｔが初期化（ｔ＝０）され、その後、初期設定工程（Ｓ１２）が実行される。【００６３】
初期設定工程（Ｓ１２）は、歩行者を複数の節点とその節点間を連結する複数のスティックとを有するスケルトンモデルとして構成し、スケルトンモデルの状態と１対１の対応をなす点を表す多次元空間である状態空間Ｘに、その状態空間Ｘの点が示す状態の実現確率の属性をその点に付与して成る粒子を定義すると共に、状態空間Ｘに初期状態として複数のスケルトンモデルの粒子を設定する工程である。【００６４】
状態遷移と予測の工程（Ｓ１３）は、第１の時刻における状態空間Ｘに設定された粒子の組（セット）に対し、モンテカルロフィルタの方法に基づいて第１の時刻より後の第２の時刻における状態を表す粒子の組を予測する工程である。この工程の後、工程Ｓ１４において、時間変数ｔが１つ進められる。すなわち、ｔ＝ｔ＋１（インクリメント）とされる。【００６５】
観測データ生成工程（Ｓ１５）は、第２の時刻において与えられた歩行者領域を２値画像化すると共にその２値画像を距離変換して距離変換画像から成る観測データを生成する工程である。【００６６】
尤度算出工程（Ｓ１６）は、予測された各スケルトンモデルと、距離変換によって形成された距離変換画像（観測データ）とを比較することにより、第２の時刻における各スケルトンモデルの状態の尤度を算出する工程である。【００６７】
粒子再設定工程（Ｓ１７）は、各スケルトンモデルの尤度に基づいて、状態空間Ｘにおけるスケルトンモデルの粒子の組を抽出すると共に、抽出した粒子の組を第２の時刻における状態空間Ｘの新たな粒子の組として設定する工程である。【００６８】
歩行者トラッキングは、上述の粒子の組を予測する工程（Ｓ１３）から、抽出した粒子の組を新たな粒子の組として設定する工程（Ｓ１７）までの、各工程を、時刻を進める毎に実行することにより実現される。すなわち、上記各工程により、スケルトンモデルの状態空間における粒子の動きが、推定されると共に時間方向に関連づけられ、これにより、歩行者領域が追跡され、トラッキングされる。【００６９】
（確率的トラッキング）
上述の工程Ｓ１３，Ｓ１５，Ｓ１６は、モンテカルロフィルタを用いて歩行者を確率的にトラッキングする、いわゆるコンデンセーションフレームワークに基づいている。このフレームワーク（枠組み、手法）は、状態空間Ｘの適切な設定、すなわち適切な歩行者モデルの設定と、適切な状態遷移モデルの設定と、状態遷移を制約するための適切な設定と、を行うことにより、背景画像や歩行者自体の画像が乱雑となる状況における歩行者トラッキングに対して、効果的となる。すなわち、対象物体つまり歩行者のオクルージョンや歩行者の速度の急激な変化などに強い頑健なトラッキングが可能となる。【００７０】
モンテカルロフィルタを用いる歩行者トラッキングは、図４に示すように、状態空間Ｘにおける歩行者モデルを表す点が時間ｔと共に移動（状態が遷移）して形成する軌跡ｔｒを、確率的に求めることに対応する。状態空間Ｘにおける各時刻ｔでの歩行者モデルを表す点は、確率分布に従って分布しており、その最も存在確率の高い点を時間的に結んだ軌跡ｔｒが、トラッキング結果となる。そこで、図５に示すように、実空間における歩行者領域の画像Ｇには、状態空間Ｘにおける複数の歩行者モデルＭ１，Ｍ２，・・ＭＮを表す粒子が対応している（図３７（ａ）（ｂ）、図３８、及び背景技術におけるこれらの図の説明参照）。【００７１】
この歩行者モデルの数Ｎ、つまり状態確率分布を表現する粒子数Ｎを増やすことによって、計算量は増加するが、状態確率分布の近似精度を向上させることができる。すなわち、アプリケーションに応じて適切な粒子数Ｎを選択することによって、精度などのシステム要求を、容易に満たすことができる。【００７２】
（スケルトンの利用）
歩行者モデルとして採用する歩行者のスケルトン（骨格）は、歩行者の輪郭に比べ、時間変化が安定しており、時間方向に安定な状態遷移を示す。そこで、スケルトンに基づく状態空間Ｘは、歩行者トラッキングにとって適切な設定となる。すなわち、スケルトンを用いることによって、現在の状態から予測される次の状態が真値に近い、という可能性が高くなり、高精度な歩行者トラッキングが可能となる。【００７３】
（状態遷移への制約）
トラッキングする対象を歩行者に限定する場合、歩行者をスケルトンによって表現し、そのスケルトンに対し、その状態遷移を制約することにより、対象に対する事前学習を行うことなく、高精度な歩行者トラッキングを実現できる。例えば、脚を表すスティックが首を表すスティックと交差するような歩行者のスケルトンの発生確率は、極めて低いと考えられる。より真値に近い状態予測は、発生確率の低い状態を状態遷移の行き先から除くことによって実現される。つまり、節点とスティックとを単純に連結した場合に可能なスケルトンモデルの状態から発生確率の低い状態を、予め状態遷移の行き先から除くように状態遷移に制約をかければよい。このように、スケルトンを用いる場合、輪郭を用いる場合と比べて、状態遷移に対するより適切、かつ、より効果的な制約が可能である。【００７４】
（距離変換画像を用いた尤度の算出）
背景技術において説明したように、コンデンセーションによる輪郭トラッキングでは、輪郭のモデル曲線（Ｂ−スプライン曲線）と画像の輪郭エッジとに基づいて、状態空間におけるモデル曲線粒子の尤度を算出している。上述の工程Ｓ１５，Ｓ１６では、この考えを歩行者トラッキングに応用する（輪郭にスケルトンが対応し、輪郭エッジに距離変換画像が対応）。歩行者候補領域を白とした２値画像に対して距離変換を行い、これによって生成した画像をモンテカルロフィルタに入力する観測データｙｔとして用いる。【００７５】
（乱数発生）
上述の状態遷移と予測の工程Ｓ１３、及び再抽出して新たな粒子の組を設定する工程Ｓ１７に用いる乱数の生成に、擬似乱数生成アルゴリズム（Ｍｅｒｓｅｎｎｅ  Ｔｗｉｓｔｅｒ：松本眞・西村拓士らが１９９７年に発表）を用いる。これによって生成した乱数は、長周期、高次元均等分布の特徴を有し、モンテカルロフィルタに適した乱数であり、高精度の歩行者トラッキングを実現できる。【００７６】
（歩行者トラッキングの処理の流れ）
モンテカルロフィルタを用いた歩行者トラッキングの処理の流れを、数学的表現を交えて、以下にまとめる。図６は歩行者トラッキング方法におけるモンテカルロフィルタに基づく歩行者トラッキングの概念を示し、背景技術で説明した図３８に対応する。【００７７】
まず、与えられた初期状態ベクトルｘ０に雑音を加え、状態確率分布ｐ（ｘ０）を生成する（図３のＳ１２）。次に、時刻ｔ（ｔ＝１，２，．．）において、モンテカルロフィルタを用いて、状態確率分布ｐ（ｘｔ−１）からｐ（ｘｔ）を推定する。推定は、予測、計測、及び再抽出の３ステップを繰り返すことにより実現される。【００７８】
（予測）スケルトンモデルを用いると共に状態遷移に制約を加えて状態を遷移させる。各粒子ｓｔ−１（ｎ），（ｎ＝１，．．，Ｎ）に対し、過程確率密度ｐ（ｘｔ｜ｘｔ−１＝ｓｔ−１（ｎ））に従って、次状態ｓ’ｔ（ｎ）を予測する（図３のＳ１３）。【００７９】
（計測）距離変換画像と各粒子との比較により、予測された各粒子の尤度を算出する。すなわち、各粒子に対し、予測された状態の尤度πｔ（ｎ）を、観測確率密度ｐ（ｙｔ｜ｘｔ）に従って算出する（図３のＳ１５，Ｓ１６）。ここでｙｔは時刻ｔにおける観測ベクトル（観測データ、つまり距離変換画像を表す観測空間のベクトル）である。【００８０】
（再抽出）乱数を生成し、生成した乱数を用いて尤度を決定することにより、上記によって予測した次状態ｓ’ｔ（ｎ）の中から、背景技術で述べた式（５）（６）に基づいて、予測状態を抽出する。これを粒子の個数Ｎ回繰り返すことにより、時刻ｔにおける粒子のセット｛ｓｔ（ｎ），ｎ＝１，．．，Ｎ｝を抽出し、時刻ｔにおける粒子の組として設定する（図３のＳ１７）。これらの処理により、最終的に各時刻ｔにおける状態確率分布ｐ（ｘｔ）（ｔ＝１，２，．．）が得られる。得られた各時刻の状態確率分布に基づいて、上述の図４に示すように、状態空間Ｘにおける軌跡ｔｒが決定される。これがトラッキング結果となる。【００８１】
上述のように、予測した状態を表す粒子の尤度に基づいて、尤度の大きな粒子のところには粒子数を多くし、尤度の小さな粒子のところには粒子数を少なくしたり、ゼロにしたりして、状態空間におけるＮ個の粒子を再抽出すると共にこれらの粒子の再配分（再設定）を行い、観測データによる補正を反映した、各時刻ｔ（ｔ＝１，２，．．）における状態確率分布ｐ（ｘｔ）が決定される。【００８２】
本発明の実施形態に係る歩行者トラッキング方法によれば、モンテカルロフィルタを用いると共に、歩行者のモデルとしてスケルトンモデルを用いるので、歩行者の輪郭モデルを用いる場合に比べて、画像中の歩行者領域の形状の時間変化に追随して、頑健な歩行者トラッキングを実現できる。すなわち、スケルトンモデルは、歩行者の胴体や四肢をモデル化することができ、従って、輪郭を用いる場合とは異なり、人体の胴体や四肢の構造上の制約に基づいてスケルトンモデルの形状の変化を制約できるので、状態空間におけるスケルトンモデルの状態遷移を確実に合理的に制約できる。このような制約を設けることにより、トラッキングの確実性が高められ、頑健な歩行者トラッキングが可能となる。【００８３】
また、２値画像化した歩行者領域を変換した距離変換画像を尤度算出の比較対象として用いるので、尤度をより精度良く算出することができる。すなわち、歩行者領域の距離変換画像は、歩行者領域の外形に現れた歩行者の四肢の状態を反映したものとなるので、スケルトンモデルと比較する観測データとして好適であり、精度良く尤度を算出できる。また、この歩行者トラッキング方法は、２値化画像を用いるので、画像の色情報を用いる必要がなく、夜間の赤外線画像などを用いる監視用の歩行者トラッキングに適用して精度良くかつ頑健な歩行者トラッキングが可能である。【００８４】
以下、歩行者トラッキング方法における個々の要素技術と処理、すなわち、スケルトンモデルと状態空間Ｘ、状態遷移モデル、尤度πｔ（ｎ）の算出法について詳述する。【００８５】
（歩行者のスケルトンモデルの有効性）
図７（ａ１）〜（ａ３）は上歩行者トラッキング方法が処理対象とする歩行者領域の画像例を示し、図７（ｂ１）〜（ｂ３）は前記画像から得られたモルフォロジカルスケルトンを示し、図７（ｃ１）〜（ｃ３）は前記モルフォロジカルスケルトンに人の四肢の概念を反映させた状態を示す。ここでは、歩行者領域の画像に画像処理を施して得られる、いわゆるモルフォロジカル画像としてのモルフォロジカルスケルトンの例を示し、スティックによる歩行者のモデル化の有効性を説明する。【００８６】
歩行者のモルフォロジカルスケルトンは、次の処理によって得られる。Ｉｂを離散２値画像（図７（ａ１）〜（ａ３））とし、Ｐを原点（０，０）を含む２値パターンとする。今、Ｐを固定して考える。Ｍ＝ｍａｘ｛ｉ≧０；Ｉｂ◎ｉＰ≠φ｝とするとき、Ｓｉ＝（Ｉｂ◎ｉＰ）−（Ｉｂ◎ｉＰ）◇Ｐ、で定められる各Ｓｉをスケルトン要素と呼ぶ。ここで、Ａ◎Ｂは、ＡのＢによる収縮演算（ｅｒｏｓｉｏｎ）であり、Ａ◇Ｂは、ＡのＢによる切断演算（ｏｐｅｎｉｎｇ）を表し、（Ａ◎ｋＢ）は、次式、（Ａ◎ｋＢ）＝（・・・（Ａ◎Ｂ）◎Ｂ◎・・・）◎Ｂ、で定義されるｋ回の収縮演算を表す。【００８７】
モルフォロジカルスケルトンＳＫ（Ｉｂ）は、次式（８）のようにすべてのＳｉの合併として定義される。これにより、図７（ｂ１）〜（ｂ３）に示すような、モルフォロジカルスケルトンＳＫ（Ｉｂ）が、２値画像から一意に得られる。
【数５】
0004686663.tif 000006
【００８８】
上述のモルフォロジカルスケルトンＳＫ（Ｉｂ）に対し、歩行者のスケルトンは「首の位置で４つに分岐」し、「腰の位置で３つに分岐」する、という知識を適用すると、図７（ｃ１）〜（ｃ３）に示すように、歩行者の骨格の状態がより明確になる。逆に、人の骨格を考慮すると、画像間の歩行者の状態の変化を安定に予測することができる。【００８９】
上記により、スケルトンモデルの状態遷移は、歩行者の輪郭の状態遷移と比べて、予測がより容易であることが分かる。すなわち、スケルトンの状態遷移は、輪郭の状態遷移に比べて時間方向に安定であり、従って、予測される次の状態が、より真値に近い状態となる。そこで、歩行者のスケルトンモデルを表すパラメータから成る空間を状態空間Ｘとすると、より頑健な歩行者トラッキングを実現可能となる。【００９０】
（スケルトンモデルの構築）
図８（ａ）〜（ｄ）は歩行者トラッキング方法において用いられるスケルトンモデルを示す。歩行者の骨格を精密にモデル化すればするほど、細かな要素を粒子の尤度算出に考慮することができるので、尤度の算出精度の向上が期待できる。しかしながら、過剰な精密化によって、状態表現のためのパラメータ数が増加し、ひいては状態遷移における自由度の増加を招くので、真値に近い状態に遷移する粒子の割合が減少することになる。つまり、尤度の算出精度と、状態遷移の精度とはトレードオフの関係にある。【００９１】
そこで、本実施形態に係る歩行者トラッキング方法において、図８（ｃ）に示すように、スケルトンモデルを、胴体スティックと、前記胴体スティックの上端に交差して接続した肩幅スティックと、前記胴体スティックの下端に交差して接続した腰幅スティックと、前記胴体スティックの延長部としての頭長スティックと、前記腰幅スティック及び肩幅スティックの両端部にそれぞれ接続された４本の四肢スティックと、の８本のスティックによって構築する。【００９２】
上述の図８（ｃ）に示すような８本のスティックを用いた歩行者のスケルトンモデルによれば、人体の特徴的な構造を適切に反映したスケルトンモデルを、簡単に構成できる。また、スケルトンモデルの状態を表すための変数の数として、過剰でない適切な数を選ぶことができるので、状態変数の数を減らし、遷移可能な状態数を削減でき、従って、トラッキング精度を向上させることができる。【００９３】
また、スケルトンモデルの状態をさらに制限して、図８（ａ）に示すように、肩幅及び腰幅スティックの長さをそれぞれゼロとする状態と、図８（ｂ）に示すように、肩幅、腰幅、及び両手スティックの長さをゼロとする状態と、図８（ｄ）に示すように、肩幅及び両手スティックの長さをゼロとする状態と、を取り得るものとする。【００９４】
上述の制限を加えたスケルトンモデルは、状態遷移における自由度の増加を抑制するものであり、かつ、画像中に現れる歩行者の移動方向を反映するものである。例えば、画像中を左方または右方に移動する歩行者は、体側を見せて歩行しており、肩幅や腰幅は殆ど認識されないので、肩幅スティックや腰幅スティックの長さをゼロとしたスケルトンモデルが好適に用いられる。なお、スケルトンモデルを構成する複数の節点とその節点間を連結する複数のスティックについて、以下では、節点ｐと節点ｑを結ぶスティックＳＴｐｑと表すことにする。【００９５】
上述のように、歩行者をスティックで表現する場合、例えば、図８（ａ）に示すように、四肢、胴体、及び頭部を表す６本のスティックによって構成したスケルトンモデルが考えられ、これをスケルトンモデル（ａ）とする。実際に撮影された画像から歩行者領域を検出すると、解像度が低い場合や、手が胴体に重なる場合などに、手の領域が検出されないことがある。このような場合、スケルトンモデル（ａ）は、尤度算出の際にＳＴｂｄ，ＳＴｂｆに由来する要素を適切に計算できなくなり、尤度算出精度が低くなる。【００９６】
そこで、図８（ｂ）のようにＳＴｂｄ，ＳＴｂｆをスケルトンモデルから削除し４本のスティックにより構成したスケルトンモデル（ｂ）を設定する。スケルトンモデル（ａ）に比べて、自由度を削減でき、また、手が検出されないような状況において、尤度の算出精度が向上する。このように、手（腕）の領域が検出されるかどうかなどの状況に応じて、いずれかのスケルトンモデルを選択して用いることができる。また、歩行者が画像中で側面を見せている場合、すなわち右又は左方向に歩いている場合は、肩幅がほとんど認識されないので、スケルトンモデル（ａ）（ｂ）で計算精度が十分得られる。【００９７】
ところで、歩行者が画像中で正面又は背面を見せている場合、すなわち上又は下方向、又は正面方向に歩いている場合、肩幅と腰幅とが認識されるようになる。つまり腕のステイックの節点ｂ、及び脚のスティックの節点ｇが、それぞれ胴体の横幅の分だけ離れることになり、スケルトンモデル（ａ）（ｂ）を用いて算出した尤度は、大きな誤差を含むことになる。そこで、スケルトンモデル（ａ）（ｂ）にそれぞれ、肩幅のスティックＳＴｃｅ、腰幅のスティックＳＴｈｊを追加し、スケルトン（ｃ）（ｄ）とする。このようなモデルを用いることにより計算精度を向上できる。【００９８】
上述のように、スケルトンモデル（ａ）〜（ｄ）のうち、最適なモデルは、歩行者トラッキングの対象となる画像シーケンス（以下シーケンスと略す）の特性に依存する。そこで、画面中における歩行者の向きや動きの方向に応じて、これらのスケルトンモデル（ａ）〜（ｄ）の中からモデルを適宜選択して、高精度な歩行者トラッキングを実現することができる。このようなモデルを、適応的スケルトンモデルと呼ぶこととし、これは、実施例において説明する。【００９９】
（状態空間Ｘの設定）
次に、上述のスケルトンモデルの状態を記述する状態空間Ｘを説明する。図９は歩行者トラッキング方法において用いられるスケルトンモデルのスティックの座標を定義する座標系を示す。【０１００】
状態空間Ｘは、歩行者に関する特徴点によって構成されるベクトルの指し示す多次元空間であり、歩行者をスケルトンによってモデル化したときのスケルトンモデルを表す変数（パラメータ）に基づいて定義される。状態空間Ｘは、精度の高い状態遷移の予測を行うために、多過ぎず、また少な過ぎない適切な自由度を持つモデルに基づくのが望ましい。そこで、上述のように、４本〜８本のスティックによって構成した４パターンのスケルトンモデル（ａ）〜（ｄ）について状態空間Ｘを設定する。【０１０１】
スケルトンモデルの形状を座標表示するため、歩行者トラッキングの対象となる時系列画像に固定した画像座標系を絶対座標系として用いる。スケルトンモデルを構成する各スティックを表すパラメータ（変数）の値の１組によって、歩行者の１つの状態が、状態空間Ｘにおける１点を占めることになる。【０１０２】
そこで、各スケルトンモデル（ａ）〜（ｄ）をパラメータによって表現して、歩行者の状態を状態空間Ｘにおける点に対応付ける。画像座標系（絶対座標系）であるｘｙ座標系を、図９に示すように設定し、このｘｙ座標系における節点ｐ（ｐ＝ａ，ｂ，．．）の座標を（ｘｐ，ｙｐ）とする。スケルトンモデルの状態空間Ｘにおける表現方法としていくつか考えられる。例えば、次式（９）に示す状態空間Ｘａｂｓのように、スケルトンの各節点の絶対座標を、そのまま用いて状態空間Ｘを定義することができる。ここで、大文字のＸは状態空間を示し、３本線の等号はこの式が定義式であることを示し、括弧｛｝は括弧内の変数（パラメータ）を成分とするベクトルを示し、括弧｛｝の右肩のＴは、ベクトルや行列における転置を示す。
【数６】
0004686663.tif 000007
【０１０３】
上式（９）の表現による状態空間は、しかしながら、頭と胴体が別々の方向へ移動する状態などのように、歩行者のスケルトンとして実現不可能な状態を簡便に排除するためには不便である。そこで、絶対座標を保持する節点を１点だけ定め、この点を基準となる点（基点）とし、他の節点をこの基点からの相対座標により表現する。相対座標は、次式（１０）〜（１２）に示すように、基点を原点とした直交画像座標系によって表される。ここで、（ｘｂａｓｅ，ｙｂａｓｅ）は基点の絶対座標であり、ｘｐ’，ｙｐ’はそれぞれ式（１１）（１２）で与えられる節点ｐの相対座標である。このような座標系で表される空間を、状態空間Ｘｒｅｌとする。
【数７】
0004686663.tif 000008
【０１０４】
この状態空間Ｘｒｅｌを用いることにより、状態遷移の際に、絶対座標の遷移を制御する雑音の分散と、相対座標の遷移を制御する雑音の分散と、をそれぞれ個別に調節することが容易となり、前述した頭と胴体が別々の方向へ移動するような可能性を、容易に制限することができる。【０１０５】
上式（１０）の状態空間Ｘｒｅｌをさらに改良したものとして、各スティックの長さと角度に基づく相対座標系を用いた状態空間Ｘｐｏｌを定義する。これは、例えば、腰の節点ｇの位置を固定したときに、脚のつま先の位置は、腰を中心とし脚の長さを半径とする円の周上にある可能性が高いという原理に基づく。この状態空間Ｘｐｏｌは、状態遷移に対する制約を容易に表現することができる。状態空間Ｘｐｏｌは、式（１３）のように表される。ここで、長さｌｐｑ、角度ａｐｑは、図９に示すように、それぞれ式（１４）（１５）により定義する。
【数８】
0004686663.tif 000009
【０１０６】
上記において、３つの表現による状態空間Ｘａｂｓ，Ｘｒｅｌ，Ｘｐｏｌを説明したが、以下では、首の節点ｂを基点とした状態空間Ｘｐｏｌを用いて説明する。状態空間Ｘｐｏｌを用いるとの前提のもとで、４つのスケルトンモデル（ａ）〜（ｄ）のそれぞれに対応する状態空間Ｘ（ｉ），（ｉ＝ａ，ｂ，ｃ，ｄ）は、次の式（１６）（１７）（１８）（１９）のようになる。各状態空間の次元数は、それぞれ、１２次元、９次元、１４次元、１０次元となる。この次元数は、状態遷移における自由度に相当する。
【数９】
0004686663.tif 000010
【０１０７】
これらの状態空間Ｘ（ｉ）は、後述する尤度算出のため、絶対座標空間Ｘａｂｓに一意に変換可能であることが要求される。これは、例えば、スケルトンモデル（ａ）の場合、次式（２０）により達成されることが分かる。他のスケルトンモデル（ｂ）（ｃ）（ｄ）についても、同様に座標変換可能である。
【数１０】
0004686663.tif 000011
【０１０８】
（状態遷移）
次に、上述のように定義された状態空間Ｘにおける、スケルトンモデル（ａ）〜（ｄ）の状態遷移のモデルについて説明する。状態遷移モデルは、歩行者の身体、つまり人体の動きとして通常あり得ない状態に遷移しないように、適切に制約を加えたモデルが望ましい。これは上述の座標系と状態空間とを用い、自己回帰モデルにおけるガウス雑音の分散を調節することによって実現する。【０１０９】
さらに、スケルトンモデルを構成する各スティックの位置と角度とによって決定されるスケルトンモデルの状態は、各スティックの相互の空間配置が人体の構造上可能な空間配置となるように制約されているものとする。すなわち、各スティックの角度に対してスティックの可動範囲に制限を加える。また、複数のスティック相互の長さの比が、前時刻と現時刻とにおいて一定に保たれるという制限を加える。このように、取り得る状態に制限（制約）を加えるということは、スケルトンモデルを表す点が、状態空間Ｘにおいてある領域に局在することを意味する。また、状態遷移に制約を加えるということは、状態空間Ｘにおいて、互いにかけ離れた点の間では、状態が遷移しないということを意味する。【０１１０】
上述のような分散調節や状態遷移への制約を課した状態遷移モデルによると、歩行者の外見の変化を、不自然とならないように反映して、スケルトンモデルの状態遷移を制約でき、また、歩行者としては通常考えられないような状態のスケルトンに遷移する可能性を除去し、状態空間Ｘにおいてスケルトンの状態が存在する可能性の高い方向に、粒子を分散させることができる。【０１１１】
（基点の絶対座標の状態遷移）
上記内容を反映した状態遷移モデルの式を、各変数毎に説明する。まず、基点の絶対座標ｘｂ、ｙｂの状態遷移については、速度を考慮することができる２次の自己回帰モデル（ＡＲモデル、上述の北川源四朗著「時系列解析入門」参照）を適用する。ここで、状態遷移後の各変数の状態の予測値をｕｔとし、１期前、２期前（１期前とは、１ステップ前のこと、以下同様）の状態をそれぞれｕｔ−１，ｕｔ−２とし、平均０のガウス雑音をｗｃとすると、この状態遷移モデルは次式（２１）のように表される。
【数１１】
0004686663.tif 000012
【０１１２】
（スティックの長さの状態遷移）
スティックの長さｌｐｑの状態遷移は、２段階の処理を経て行う。まず、次式（２２）により各粒子に対し、確率的にズームパラメータｚを決定する。その後、式（２３）に示すように、ｚを１期前の状態ｕｔ−１に乗じたのち、１次の自己回帰モデルによって状態を遷移させる。
【数１２】
0004686663.tif 000013
【０１１３】
ここでｗｚは平均０のガウス雑音であり、γは正の定数であり、ｗｌは平均０のガウス雑音である。長さ決定に対して、ズームパラメータｚによる寄与よりも、１次自己回帰モデルによる寄与を小さくすることにより、前時刻における長さの比を維持しつつ、歩行者が接近したり遠ざかったりすることに対応するスケルトンモデルの拡大縮小に、適切に対応させることができる。このような調節は、ｗｚとｗｌの分散を調整することにより実現される。【０１１４】
（スティックの角度の状態遷移）
図１０は歩行者トラッキング方法において用いられるスケルトンモデルの形状に対する制約の具体例を示す。すなわち、首のスティックの可動範囲を、上方の９０゜の範囲内とし、左右の脚の可動範囲を水平位置までとしている。このような可動範囲を考慮して、スティックの角度ａｐｑの状態遷移については、各スケルトンモデルに対し、以下に示す制限を加える。
【数１３】
0004686663.tif 000014
【０１１５】
これらの制限内で、平均を考慮した２次自己回帰モデルを適用する。これは次式（２４）のように表される。
【数１４】
0004686663.tif 000015
【０１１６】
ここでσは平均を示し、角度ａｂａの遷移に対しては−π／２、その他の角度ａｐｑの遷移に対してはπ／２である。αは０≦α≦１を満たす定数であり、平均σの与える影響を制御する。特に、α＝１の場合、平均は考慮されない。ｗａは平均０のガウス雑音であり、上述した制限を越えないように決定される。【０１１７】
以上の状態遷移モデルによると、例えば、スケルトンモデル（ａ）の場合、状態遷移は次式（２５）のように表される。ここで、Ｆ１，Ｆ２，Ｃ，σ，Ｗは、それぞれ式（２６）〜（３０）で与えられる。
【数１５】
0004686663.tif 000016
【０１１８】
ここで、ＩＮはＮ×Ｎの単位行列であり、ＯＮ×ＭはＮ×Ｍの零行列である。状態遷移モデルの性能を決定する重要なパラメータは、加えるガウス雑音ｗｃ，ｗｚ，ｗｌ，ｗａの分散である。これらは処理対象の乱雑さに応じて決定する必要がある。ある節点の絶対座標ｕｔの遷移が、各ガウス雑音によって次式（３１）によって与えられるとする。また、各雑音がｕｔに与える、次式（３２）のような各影響ρを考える。
【数１６】
0004686663.tif 000017
【０１１９】
以下において、上述の影響ρの大小関係の決定について説明する。まず、各節点の相対的な位置関係は、ρｚ，ρｌ，ρａによって決まるので、ρｃ＞ρｚ，ρｌ，ρａとすることによって、前時刻（ｔ−１）における節点の位置関係を保持することができる。また、スティックの長さが急に変化する確率は低いと考えられるので、ρａ＞ρｚ，ρｌとする。ただし、ｗａについては、すべてのスティックの角度ａｐｑに同じ分散を用いる必要はない。例えば、胴体の角度ａｂｇは手の角度ａｂｄに比べて大きく遷移する可能性は少ない。そのため、ａｂｇの遷移に用いるガウス雑音の分散を、ａｂｄの遷移に用いるガウス雑音の分散よりも小さく設定する。ρｚ，ρｌに関しては、前述したように、前時刻におけるスティック間の長さの比を保つため、ρｚ＞ρｌとする。【０１２０】
上記をまとめると、ρｃ＞ρａ＞ρｚ＞ρｌとなる。この関係式を満たすように、ｗｃ，ｗｚ，ｗｌ，ｗａの分散を調整することによって、状態遷移された各粒子が、歩行者のスケルトンモデルとして実現可能性の高い方向に分散し、逆に、実現性の低い状態には遷移しにくいように、状態遷移に制約をかけることができる。【０１２１】
（粒子の尤度の算出）
尤度πｔ（ｎ）の算出手法には、コンデンセーションによる輪郭トラッキングで用いられている手法を拡張した、距離変換画像における極大値の探索に基づく手法を用いる。以下、これらを詳細に述べる。すなわち、尤度を算出する工程で用いる距離変換画像は、歩行者領域を表す黒の輪郭部から輪郭内部に行くほど高輝度と成るように白黒濃度で表現した画像とし、予測された各スケルトンモデルの尤度は、スケルトンモデルと距離変換画像とを重ねた状態で、スケルトンモデルを構成するスティック上の複数の点から、各点における該スティックの法線方向に存在する距離変換画像の輝度極値点、例えば、輝度極大点までの距離を用いて算出する。【０１２２】
上述のような尤度の算出方法によれば、スケルトンモデルの各スティックと、距離変換画像における高輝度部分とは、共に人体の骨格を反映したものであり、これらの重なり具合を輝度極大点までの距離によって見積もることができるので、推定されたスケルトンモデルの尤度を、精度良く算出することができる。例えば、このような輝度極大点までの距離の和が小さいほど重なり度合いが大きく、尤度が大きいとされる。【０１２３】
上述のように、コンデンセーションによる輪郭トラッキングで用いられている尤度算出の考えを応用し、粒子の尤度πを算出する。コンデンセーションによる輪郭トラッキングでは、予測されたＢ−スプライン曲線上の数点について、入力画像におけるエッジを探索し、予測された輪郭とエッジとの距離によって粒子の尤度を評価している。そこで本実施形態に係る歩行者トラッキング方法では、予測されたスケルトンモデルと観測データであるモルフォロジカルスケルトン（画像から画像処理によって得られたスケルトンモデル）との比較によって、尤度を算出する。【０１２４】
すなわち、スケルトンモデルを構成するスティック上の数点に対し、スティックの法線方向に最も近いモルフォロジカルスケルトン上の点を探索し、予測されたスケルトンモデルとの距離に基づいて、そのスケルトンモデルに対応する粒子の尤度を算出する。なお、探索の始点とするスケルトンモデル上の点を、探索基点と呼ぶことにする。【０１２５】
（距離変換画像）
図１１（ａ）はトラッキング対象の歩行者領域画像を示し、図１１（ｂ）は前記画像に距離変換を施して得られた距離変換画像の例を示す。モルフォロジカルスケルトンは、２値画像を距離変換した距離変換画像として得られる。距離変換画像は、２値画像において、注目画素から最も近い画素値０の画素までの距離を、その注目画素の画素値とする変換によって生成される。注目画素の画素値が０の場合の距離は０とされる。ここで、２値画像において画素値が０である領域をＢとすると、距離変換画像における座標（ｘ，ｙ）を有する画素の画素値Ｄ（ｘ，ｙ）は、次式（３３）で表される。
【数１７】
0004686663.tif 000018
【０１２６】
（単純な尤度算出）
図１２（ａ）は距離変換画像に予測されたスケルトンモデルを重ねた状態を示し、図１２（ｂ）は前記の重ね合わせた図から尤度を求める方法を示す。本実施形態では、距離変換前の画像として、歩行者候補領域の画素値を１とした２値画像を用いる。１を白、０を黒としている。この２値画像は、トラッキングの前段階として得られている。【０１２７】
予測ステップにおいて、図１２（ａ）に示すようなスケルトンが予測されたとする。距離変換画像におけるモルフォロジカルスケルトンの探索は、予測されたスケルトンモデル上の探索基点から法線方向に最も近い距離変換画像における輝度の極値て、例えば、極大点を求めることで達成される。図１２（ａ）中の脚のスケルトンにおける探索例を、図１２（ｂ）に示す。【０１２８】
スケルトンモデル上のｉ番目の探索基点から探索された極大点までの距離をδｉ（ｎ）とする。粒子ｎの極単純な尤度算出方法では、次式（３４）により与えられるｅ（ｎ）を算出する。ここで、ｒはスケーリングのための定数であり、μは探索範囲を表す定数である。式（３４）はコンデンセーションによる輪郭トラッキングにおける尤度の算出式（７）に倣っている。このようにして算出されるｅ（ｎ）を、式（３５）のように正規化することにより、粒子ｎの尤度π（ｎ）を算出する。
【数１８】
0004686663.tif 000019
【０１２９】
（より高精度化した尤度算出）
図１３（ａ）（ｂ）は歩行者トラッキング方法において尤度を求める方法の他の例を示す。上述の単純な尤度算出方法は、次の２点が問題点として挙げられる。（１）手のスティックと胴体のスティックが重なる場合に尤度が高くなる。（２）スティックが短かいほど、尤度が高くなる。以下、この２点の改良について説明する。【０１３０】
（１．手と胴体のスティックの重なり対策）
手のスティックＳＴｂｄなどの上の点を探索基点として、距離変換画像の極大点を探索する場合、胴体に由来する極大点と手に由来する極大点の区別がつかない。そのため、予測された手のスティックが、胴体のスティックＳＴｂｇに重なるようなスケルトンモデルが予測された場合、両者のスティック上の点を探索基点とした探索により、共に胴体に由来する極大点が検出され、高い尤度を得るという問題がある。【０１３１】
そこで、手のスティック上の探索基点では、図１３（ａ）に示すように、中心角がπ／２の円周の上方から下方に向けて極大点を探索する。最初に検出された極大点における角度から求められる探索線上の探索基点までの長さεに基づいて、尤度を算出する。つまり、上述の問題を解決するため、水平方向に近い極大点を優先することとする。これは、垂直方向に近い角度において検出される極大点は、胴体に由来するものである可能性が高い、という事実に基づく。このような探索によって、第ｊ番目の探索基点から得られた値をεｊ（ｎ）とする。【０１３２】
（２．短スティックの高尤度対策）
スティックの長さが短ければ短かいほど、探索基点が密集する。そこで、密集した点付近に距離変換画像における極大点があれば、高い尤度が算出されることになる。このため、状態遷移を繰り返す度に、各スティックの長さが短くなるという問題が起こり得る。そこで、節点ａ、節点ｉ、節点ｋの３点を探索基点として、図１３（ｂ）に示すように、そのスティックの方向にモルフォロジカルスケルトンの終端（距離ζ）を探索することとする。このような探索によって、第ｋ番目の探索基点から得られた値をζｋ（ｎ）とする。上述の問題を解決するため、終端までの距離を尤度に加味し、スティックの長さが短かい場合にζが大きくなるようにする。【０１３３】
（改良された尤度）
以上のようにして得られたδｉ（ｎ），εｊ（ｎ），ζｋ（ｎ）を用いて、次式（３６）によりｅ（ｎ）を求める。ここで、ξｉ，ξｊ，ξｋは重み係数である。このようにして算出された次式（３６）のｅ（ｎ）を前出の式（３５）により正規化して尤度π（ｎ）が求まる。
【数１９】
0004686663.tif 000020
【実施例】
【０１３４】
以下では、上述した歩行者トラッキング方法を、種々な画像シーケンス（時系列画像）に適用し、評価する。まず、実施方法を示す。次に、本発明の実施形態に係る歩行者トラッキング方法（以下、提案手法と記す）と、比較対象とするトラッキング方法とを、人工的に作成したシーケンス、及び実シーケンスにそれぞれ適用し、その結果に基づいて、本発明の有効性を示す。【０１３５】
（実施方法）
一般に歩行者トラッキングが失敗する原因として、例えば、オクルージョンや歩行者の速度の急激な変化、トラッキングターゲットである歩行者に似たオブジェクトの存在などがある。本発明の歩行者トラッキング方法の性能を評価するには、これらの原因を含む、多様な実シーケンスを用いて評価するのが望ましい。しかしながら、例えば、トラッキングターゲットの速度などのパラメータを細かく制御した実シーケンスを得ることは難しい。また、評価には真値が必要であり、これらの手入力は効率的でない。そこで、まずソフトウェアにより人工的に作成したシーケンスを用いて提案手法の特性を調べる。次に数種類の実シーケンスに提案手法を適用し、トラッキング精度を評価する。また、粒子数と４パターンのスケルトンモデル（ａ）（ｂ）（ｃ）（ｄ）、を比較した上で、既存手法と比較検討する。【０１３６】
以下では、比較対象とするトラッキング手法について説明し、その後、評価基準について説明する。最後に、評価に用いる人工シーケンスと実シーケンスについて、それぞれ説明する。また、歩行者領域の誤検出を、次の２種類に分類する。１つは、前景の静止物体などにより、歩行者領域の一部もしくは全体が欠ける誤検出であり、これを静的誤検出と呼ぶ。他の１つは、トラッキングターゲット以外の移動物体などにより、本来の歩行者領域とは異なる領域が、歩行者領域として検出される誤検出であり、これを動的誤検出と呼ぶ。また、これらの誤検出の原因物体を、それぞれ静的誤検出、動的誤検出と呼ぶことにする。【０１３７】
（比較対象トラッキング手法）
提案手法に対する比較対象のトラッキング方法として、カルマンフィルタによる重心のトラッキング方法、及び、コンデンセーションによる輪郭トラッキング方法を取りあげる。まず、これらの実装について簡単に述べる。カルマンフィルタによる重心のトラッキングでは、カルマンフィルタにより予測された重心の位置から、最近傍の歩行者候補領域内の画素を探索し、その画素に連続する領域内の重心座標を求め、カルマンフィルタによりこれを補正してトラッキングを行う。【０１３８】
コンデンセーションによる輪郭トラッキングでは、トラッキングを開始するフレームの直前１５フレームの真値を基に主成分分析による学習を行なう。輪郭を近似するＢ−スプライン曲線の節点数は、３２とした。尤度算出（計測）に用いるエッジは、３×３のソベル演算子を用いて検出する。【０１３９】
コンデンセーションによる輪郭トラッキングは、一般にどのような形状のオブジェクトであっても、主成分分析により事前に学習することによってトラッキング可能とされる。そこで、コンデンセーションによる輪郭トラッキングを、歩行者トラッキング専用に拡張し、精度を向上させた手法を実装し、比較対象の方法に加える。以下では、この手法をコンデンセーションによる歩行者輪郭トラッキングと呼ぶ。【０１４０】
以上より、評価の対象は、次の４つの手法である。（１）提案手法、（２）カルマンフィルタによる重心のトラッキング、（３）コンデンセーションによる輪郭トラッキング、（４）コンデンセーションによる歩行者輪郭トラッキング。【０１４１】
（歩行者輪郭トラッキング）
以下では、比較対象のトラッキング方法の１つである、コンデンセーションによる歩行者輪郭トラッキングについて説明する。コンデンセーションによる歩行者輪郭トラッキングでは、主成分分析により状態遷移を制約する代わりに、トラッキングターゲットを歩行者に限定することで状態遷移に制約をかける。まず、歩行者の輪郭を近似するＢ−スプライン曲線の３２点の各制御点をそれぞれ、頭部、胴体、四肢の６つのグループに分類する。Ｂ−スプライン曲線の制御点を表現する座標系としては、提案手法と同様に基点を定め、各節点はこの基点からの距離とｘ軸に対する角度により表現する。グループＩに属し、グループＩにおける節点のインデックスがｊである節点の角度をθＩｊとする。このとき、図１４に示すように、角度θＩｊを各グループ内で共通の角度ΦＩと、そこからの相対角度φＩｊの和として表現する。すなわち、θＩｊ＝ΦＩ＋φＩｊとなる。【０１４２】
角度θＩｊの状態遷移は２段階に分けて行なう。まず、各グループにおける共通の角度ΦＩを２次の自己回帰モデルにより遷移させ、次に、相対角度φＩｊを１次の自己回帰モデルにより遷移させる。すなわち、次式（３７）の状態遷移モデルを用いる。
【数２０】
0004686663.tif 000021
【０１４３】
ここで、ガウス雑音ｗｇの分散に比べ、ｗｌの分散を小さくすることで、グループ内の節点間で相対角度の関係が保たれることになり、効率的な歩行者トラッキングが実現可能であると期待される。また、基点の絶対座標、基点から各節点までの距離の状態遷移モデルは、それぞれ２次の自己回帰モデル、１次の自己回帰モデルを用いる。【０１４４】
（評価基準）
図１５は歩行者トラッキング方法におけるトラッキング精度の評価のための評価基準を示す。提案手法によるトラッキング結果は、歩行者のスケルトンによって示され、比較対象のカルマンフィルタによる重心のトラッキング結果は、重心の座標によって示され、他の比較対象であるコンデンセーションによる輪郭トラッキングやコンデンセーションによる歩行者輪郭トラッキングの結果は、歩行者の輪郭によって示される。【０１４５】
これらの結果を統一的に比較検討するため、図１５に示すように、トラッキングにより推定されたオブジェクトを包含する四角形に基づいて、（１）重心誤差Δｇ、つまり、推定された四角形の重心位置と真値とのユークリッド距離、及び（２）スケール誤差、つまり、推定された四角形の高さｄ１と真値の高さｄ０との比、を求めて、これらの数値を評価基準とする。【０１４６】
重心誤差Δｇの単位はピクセルである。重心誤差が小さいほど、トラッキングの精度がより高いことを示し、スケール誤差が１に近いほど、歩行者の形状がより精度良く推測できていることを示す。ところで、モンテカルロフィルタによる状態推定は、確率的手法であり、毎回違ったトラッキング結果が得られるので、歩行者トラッキングを各シーケンスに対し１００回ずつ行ない、これらの平均として上述の評価用数値を算出する。【０１４７】
（人工シーケンス）
人工的にシーケンスを生成するソフトウェアをＣ言語により実装した。生成されるシーケンスは、歩行者候補領域の画素値が１である２値画像であり、この画像に距離変換をかけることで、提案手法への入力とする。画像のサイズは７２０×４８０とし、フレーム数は２００とする。このソフトウェアは、入力用シーケンスの他に、評価や初期値の設定、事前学習に用いる真値を出力することが可能である。以下ではこのソフトウェアについて説明する。【０１４８】
図１６（ａ）〜（ｉ）は、歩行者トラッキング方法の評価に用いられる画像シーケンスの一部を示す。これらの画像は、静的誤検出、動的誤検出などの無い、最も単純な場合のシーケンスの一部について、歩行者の領域を拡大した画像である。これらの図のように、８個の楕円により人型のオブジェクトを構成した。各フレームにおける各楕円の中心の座標、長軸、短軸の長さ、長軸の傾きをそれぞれ計算し、楕円内の領域の画素値を１とすることで、人型オブジェクトの画像を生成した。【０１４９】
上述の人工シーケンス生成ソフトウェアは、人型オブジェクトの初期位置、速度、加速度などは制御可能である。また、静的誤検出、動的誤検出の両方を追加でき、その形状および位置なども制御可能である。そこで、以下に示すシーケンスを評価用に生成した。【０１５０】
（ノーマルシーケンス）
静的誤検出、動的誤検出を加えていないシーケンスを評価に用いる。以下では、このシーケンスをシーケンスＮと呼ぶ。【０１５１】
（逆再生シーケンス）
シーケンスＮの途中でシーケンスを逆再生し、歩行者の速度が反対方向に変わるシーケンスを評価に用いる。以降では、このシーケンスをシーケンスＲと呼ぶ。シーケンスＲでは、５９フレーム目、１０７フレーム目でシーケンスを逆再生した。【０１５２】
（ガードレール型静的誤検出を加えたシーケンス）
図１７（ａ）（ｂ）は歩行者トラッキング方法の評価に用いられるガードレール型静的誤検出評価のための画像シーケンスの一部を示す。これらの図に示すように、２パターンのガードレールに見立てた静的誤検出ＧＲを、シーケンスＮに加えたシーケンスを用意した。以下では、これらのシーケンスをそれぞれシーケンスＧ１，Ｇ２と呼ぶ。これらのシーケンスは、１８フレーム目以降、歩行者の領域Ｇの一部が静的誤検出により欠ける。【０１５３】
（ポール型静的誤検出を加えたシーケンス）
図１８（ａ）（ｂ）（ｃ）は歩行者トラッキング方法の評価に用いられるポール型静的誤検出評価のための画像シーケンスの一部を示す。これらの図に示すように、３パターンのポールに見立てた静的誤検出ＰをシーケンスＮに加えたシーケンスを用意した。これらのシーケンスをそれぞれシーケンスＰ１，Ｐ２，Ｐ３と呼ぶ。シーケンスＰ１は、９−４０，７２−９２，１２４−１４４フレーム目において歩行者の領域の一部が静的誤検出により欠ける。シーケンスＰ２は、９−４２，７２−９５，１２４−１５２フレーム目において歩行者の領域の一部が静的誤検出により欠ける。シーケンスＰ３は、９−４２，４８−７０，７７−９６，１０１−１６０フレーム目において歩行者の領域の一部が静的誤検出により欠ける。【０１５４】
（自動車車型動的誤検出を加えたシーケンス）
図１９（ａ）（ｂ）は歩行者トラッキング方法の評価に用いられる動的誤検出評価のための画像シーケンスの一部を示す。これらの図に示すように、２パターンの自動車に見立てた動的誤検出Ｃのそれぞれに、自動車の進行方向を歩行者と同じ方向、逆方向として、計４パターンの動的誤検出をシーケンスＮに加えたシーケンスを用意した。これらのシーケンスをそれぞれシーケンスＣ１，Ｃ２，Ｃ３，Ｃ４と呼ぶ。シーケンスＣ１，Ｃ３は、車の進行方向は歩行者と逆向きであり、シーケンスＣ２，Ｃ４は、車の進行方向は歩行者と同じ向きである。シーケンスＣ１は、１８−３７，９６−１０９，１６９−１８０フレーム目において、歩行者の領域Ｇと動的誤検出された領域が重なる。シーケンスＣ２は、９−３４，１４１−１５８フレーム目において、歩行者の領域と動的誤検出された領域が重なる。シーケンスＣ３は、１８−４１，９１−１１３，１６３−１８５フレーム目において、歩行者の領域と動的誤検出された領域が重なる。シーケンスＣ４は、２−４０，１２８−１６５フレーム目において、歩行者の領域と動的誤検出された領域が重なる。【０１５５】
（実シーケンス）
図２０（ａ）（ｂ）（ｃ）は歩行者トラッキング方法の評価に用いられる実画像シーケンスの一部を示し、図２０（ｄ）は図２０（ａ）から得られた２値画像を示す。評価に用いる実シーケンス、およびトラッキングターゲット座標の真値として、ＰＥＴＳ（ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｐｅｒｆｏｒｍａｎｃｅ  Ｅｖａｌｕａｔｉｏｎ  ｏｆ  Ｔｒａｃｋｉｎｇ  ａｎｄ  Ｓｕｒｖｅｉｌｌａｎｃｅ：ｈｔｔｐ：／／ｗｗｗ．ｃｖｇ．ｃｓ．ｒｄｇ．ａｃ．ｕｋ／ｓｌｉｄｅｓ／ｐｅｔｓ．ｈｔｍｌ）から提供されているデータセットを用いた。評価に用いる３つのシーケンスの一部を、図２０（ａ）（ｂ）（ｃ）に示す。図中の四角Ｇは、トラッキングターゲットである歩行者を示す。以下では、図２０（ａ）に示すシーケンスをシーケンスＵ、図２０（ｂ）に示すシーケンスをシーケンスＳ１、図２０（ｃ）に示すシーケンスをシーケンスＳ２と呼ぶ。これらのシーケンスは固定カメラから撮影されたものである。シーケンスＵの画像サイズは７６８×５７６であり、シーケンスＳ１，Ｓ２の画像サイズは７２０×５７６である。トラッキングするフレーム数は２００とする。【０１５６】
シーケンスＵでは、トラッキングターゲットの動きは単純だが、１３５−１４０フレーム目において、前景の電柱により、オクルージョンが発生する。シーケンスＳ１，Ｓ２では、トラッキングターゲットの動きは複雑で、トラッキングターゲットに似た他のオブジェクトが画像中に多く存在する。さらに、シーケンスＳ２では、１２−２３フレーム目、１１２−１２１フレーム目、１５４−１６６フレーム目にてトラッキングターゲットと他のオブジェクトがほぼ完全に重なり、トラッキングが極めて難しいシーケンスとなっている。【０１５７】
（初期状態ベクトル、距離変換画像）
提案手法は、初期状態ベクトルｘ０、及び、距離変換画像の入力が必要である。初期状態ベクトルｘ０は、手で与えることとする。距離変換画像は、背景差分法によって得られる差分画像を基に生成する。座標（ｘ，ｙ）における原画像の画素値をＩｏｒｉｇ（ｘ，ｙ）、背景画像の画素値をＩｂｇ（ｘ，ｙ）とするとき、差分画像の画素値Ｉｓｕｂ（ｘ，ｙ）は、次式（３８）のように、原画像と背景画像の差分絶対値として得られる。
【数２１】
0004686663.tif 000022
【０１５８】
２値画像の画素値Ｉｂｉｎ（ｘ，ｙ）は、差分画像から次式（３９）に示す閾値処理により算出される。これにより、原画像において移動物体が存在する領域の、画素値が１となった２値画像が得られる。ここでτは閾値である。
【数２２】
0004686663.tif 000023
【０１５９】
図２０（ａ）に示すシーケンスＵから背景差分法により得られた画像を、図２０（ｄ）に示す。このようにして得られた２値画像に対し、式（３３）に示した距離変換によって距離変換画像を生成した。【０１６０】
（評価結果）
以下では、上述した評価方法を用いた評価結果をシーケンス毎に示し、提案手法の有効性について述べる。評価結果を示す図２１〜図３５において、曲線ａ，ｂ，ｃ，ｄは、それぞれ以下の手法の結果に対応する。
提案手法（曲線ａ）、
カルマンフィルタによる重心のトラッキング（曲線ｂ）、
コンデンセーションによる輪郭トラッキング（曲線ｃ）、
コンデンセーションによる歩行者輪郭トラッキング（曲線ｄ）。【０１６１】
（シーケンスＮ）
まず、提案手法をシーケンスＮに適用し、上述した各スケルトンモデルに対して粒子数を変化させた場合におけるトラッキング精度について、全フレームの平均として算出した重心誤差により評価する。評価結果を表１に示す。
【表１】
0004686663.tif 000024
【０１６２】
この結果から、粒子数を増やすことによるトラッキング精度の向上が確認できた。また、シーケンスＮでは手が検出され、また肩幅が無いことから、スケルトンモデル（ａ）が最も適すると期待される。結果から、この期待通りの結果が得られていることが確認できた。以下の人工シーケンスにおける評価では、粒子数を１０００とし、スケルトンモデル（ａ）を用いることとする。【０１６３】
図２１（ａ）はシーケンスＮに対する重心誤差の評価結果を示し、図２１（ｂ）はスケール誤差の評価結果を示す。横軸は時間を示し、その単位はフレームである。【０１６４】
この結果から、カルマンフィルタによる重心のトラッキング（曲線ｂ）は、ほぼ誤差の無い性能を示した。これは、雑音が全く無いシーケンスＮではトラッキンングターゲットの重心を正確に抽出可能なためである。提案手法（曲線ａ）は、コンデンセーションによる輪郭トラッキング（曲線ｃ）、コンデンセーションによる歩行者輪郭トラッキング（曲線ｄ）よりも優れた性能を示しているが、重心誤差に周期的なばらつきが見られる。この周期は、歩行の周期と同一であり、図１５（ｅ）（ｆ）のようなフレームで誤差が大きくなる。これは、提案手法では膝の関節をモデル化していないので、粒子の尤度算出精度が低下するためだと考えられる。コンデンセーションによる輪郭トラッキング（曲線ｃ）では、スケール誤差の増大が確認できる。これは主成分分析による状態遷移への制約が適切でないことを示す。スケール誤差の増大により、各粒子の尤度が減少し、図２１（ａ）のようにトラッキングターゲットを見失う。また、コンデンセーションによる輪郭トラッキング（曲線ｃ）のような汎用的なトラッキング手法では、一度誤差が大きくなると再び誤差が小さくなる可能性は低い。一方、提案手法（曲線ａ）では、誤差が一時的に大きくなったとしても、再び誤差を小さくすることが可能であることが確認できた。【０１６５】
（シーケンスＲ）
図２２（ａ）はシーケンスＲに対する重心誤差の評価結果を示し、図２２（ｂ）はスケール誤差の評価結果を示す。シーケンスＲでは、ほぼシーケンスＮと同様の結果が得られた。これは、このシーケンスは各フレーム間におけるトラッキングターゲットの移動距離が小さいため、急な逆再生でもほぼ影響が無いためと思われる。【０１６６】
（シーケンスＧ１，Ｇ２）
図２３（ａ）（ｂ）はシーケンスＧ１に対する評価結果を示し、図２４（ａ）（ｂ）はシーケンスＧ２に対する評価結果を示す。シーケンスＧ１，Ｇ２では、静的誤検出により歩行者の領域が分割されるため、シーケンスＮに比べてカルマンフィルタによる重心のトラッキング（曲線ｂ）の精度低下が目立つ。一方、提案手法（曲線ａ）ではそれほど大きな精度の低下は見られず、コンデンセーションによる歩行者輪郭トラッキング（曲線ｄ）も提案手法とほぼ同等なトラッキング精度を示した。シーケンスＧ２では、提案手法（曲線ａ）は、６０−１２０フレーム目に大きな誤差が見られる。これは、長期に渡ってスケルトンの脚における終端が静的誤検出により検出されず、全体的に（−ｙ）方向にずれるためである。【０１６７】
（シーケンスＰ１，Ｐ２，Ｐ３）
図２５（ａ）はシーケンスＰ１に対する評価結果を示し、図２６（ａ）（ｂ）はシーケンスＰ２に対する評価結果を示し、図２７（ａ）（ｂ）はシーケンスＰ３に対する評価結果を示す。シーケンスＰ１，Ｐ２，Ｐ３のどのシーケンスにおいても、提案手法（曲線ａ）は、静的誤検出により一時的に大きくなった重心誤差を再び小さくすることができ、最も優れた性能を示した。コンデンセーションによる歩行者輪郭トラッキング（曲線ｄ）は、シーケンスＧ１，Ｇ２では提案手法とほぼ同等の性能を示していたが、シーケンスＰ２，Ｐ３で特に大きな誤差が見られる。これは、静的誤検出により、検出されたトラッキングターゲットとの境界に輪郭が検出されるためだと考えられる。また、カルマンフィルタによる重心のトラッキング（曲線ｂ）では静的誤検出により、重心位置が不安定となり、トラッキングに失敗した。【０１６８】
（シーケンスＣ１，Ｃ２，Ｃ３，Ｃ４）
図２８（ａ）（ｂ）はシーケンスＣ１に対する評価結果を示し、図２９（ａ）（ｂ）はシーケンスＣ２に対する評価結果を示し、図３０（ａ）（ｂ）はシーケンスＣ３に対する評価結果を示し、図３１（ａ）（ｂ）はシーケンスＣ４に対する評価結果を示す。シーケンスＣ１，Ｃ２，Ｃ３，Ｃ４のどのシーケンスにおいても、提案手法（曲線ａ）は最も優れた性能を示した。特に、シーケンスＣ３，Ｃ４ではトラッキングターゲットのほぼ全域が一時的に動的誤検出された領域と重なるが、提案手法ではトラッキングに成功している。一方、他の手法（曲線ｂ，ｃ，ｄ）では、動的誤検出により大きな誤差が確認された。コンデンセーションによる歩行者輪郭トラッキング（曲線ｄ）では、特に歩行者と動的誤検出の移動方向が同一の場合、スケール誤差の増大に示されるように歩行者の輪郭の形状が大きく乱れ、トラッキングに失敗した。カルマンフィルタによる重心のトラッキング（曲線ｂ）では、動的誤検出された領域を誤ってトラッキングした。【０１６９】
（実シーケンスＵ）
まず、提案手法をシーケンスＵに適用し、各スケルトンモデルに対して粒子数を変化させた場合における精度について、全フレームの平均として算出した重心誤差により評価する。評価結果を表２に示す。
【表２】
0004686663.tif 000025
【０１７０】
この結果から、粒子数を増やすことによるトラッキング精度の向上が確認できた。また、シーケンスＵからは手が検出されず、また肩幅がほぼ無いことからスケルトンモデル（ｂ）が最も適すると期待される。評価結果から、この期待通りの結果が得られていることが確認できた。【０１７１】
図３２（ａ）（ｂ）はシーケンスＵに対する評価結果を示す。各手法の粒子数を１，０００とし、また提案手法ではスケルトンモデル（ｂ）を用いた。この結果、提案手法（曲線ａ）は最も優れたトラッキング精度を達成したが、カルマンフィルタによる重心のトラッキング（曲線ｂ）、コンデンセーションによる歩行者輪郭トラッキング（曲線ｄ）も提案手法とほぼ同等の精度を示した。【０１７２】
（実シーケンスＳ１）
まず、提案手法をシーケンスＳ１に適用し、各スケルトンモデルに対して粒子数を変化させた場合における精度について、全フレームの平均として算出した重心誤差により評価する。評価結果を表３に示す。
【表３】
0004686663.tif 000026
【０１７３】
この結果から、粒子数を増やすことによるトラッキング精度の向上が確認できた。また、シーケンスＳ１からは手が検出されないフレームが多く、また肩幅があるフレームが多いことからスケルトンモデル（ｄ）が最も適すると期待されるが、結果からスケルトンモデル（ｂ）が最も優れた性能を示した。これは、シーケンスＳ１におけるトラッキングターゲットの領域が小さいため、肩幅の影響があまり問題にならないことを示している。【０１７４】
図３３（ａ）（ｂ）はシーケンスＳ１に対する評価結果を示す。各手法の粒子数を１０，０００とし、また提案手法ではスケルトンモデル（ｂ）を用いた。この結果、提案手法（曲線ａ）とコンデンセーションによる歩行者輪郭トラッキング（曲線ｄ）がほぼ同等の性能を示している。一方、カルマンフィルタによる重心のトラッキング（曲線ｂ）はトラッキングターゲットの急な速度の変化に対応できず、２０フレーム目以降、違うオブジェクトを誤ってトラッキングした。【０１７５】
（実シーケンスＳ２）
まず、提案手法をシーケンスＳ２に適用し、各スケルトンモデルに対して粒子数を変化させた場合における精度について、全フレームの平均として算出した重心誤差により評価する。評価結果を表４に示す。
【表４】
0004686663.tif 000027
【０１７６】
この結果から、粒子数を増やすことによるトラッキング精度の向上が確認できた。また、シーケンスＳ２では前半は手が検出されないフレームが多く、後半は手が検出されるフレームが多い。またトラッキングターゲットの肩幅はほぼ無いフレームが多いことからスケルトンモデル（ａ）もしくは（ｂ）が最も適すると期待される。結果から、スケルトンモデル（ｂ）が最も良い性能を示すことが分かった。これは前半において誤差が大きい場合、後半に誤差が伝搬するためだと考えられる。【０１７７】
（適応的スケルトンモデル）
図３４は歩行者トラッキングに適応的スケルトンモデルを用いた場合の重心誤差の評価結果を示す。手が検出されない９７フレーム目までにおいてスケルトンモデル（ｂ）を用い、９７フレーム目以降、スケルトンモデル（ａ）に切り替えることにより、トラッキング精度が更に向上すると考えられる。このモデルを適応的スケルトンモデルと呼ぶ。適応的スケルトンモデル、スケルトンモデル（ｂ）を用いた場合における重心誤差の比較を図３４に示す。粒子数はそれぞれ１０，０００とした。この結果、適応的スケルトンモデルはスケルトンモデル（ｂ）よりも後半において優れた性能を示した。今回、スケルトンモデルの切り替えは手動で行なったが、トラッキング実行中に自動的にスケルトンモデルを切り替えることにより、より精度向上を図ることができる。【０１７８】
図３５（ａ）（ｂ）はシーケンスＳ２に対する評価結果を示す。各手法の粒子数を１０，０００とし、また提案手法ではスケルトンモデル（ｂ）を用いた。この結果、提案手法（曲線ａ）は最も優れたトラッキング精度を示した。しかし、図３５（ｂ）に示すようにスケール誤差が大きい。これはシーケンスＳ２ではトラッキングターゲットが画面奥から手前に移動することによるオブジェクト領域の拡大を正確に推測できていないことを示す。コンデンセーションによる歩行者輪郭トラッキング（曲線ｄ）では、トラッキングターゲットと他のオブジェクトが重なる２０フレーム目前後に大きなスケール誤差がある。これは推定された輪郭の形状が大きく乱れたことを意味し、これによってトラッキングに失敗した。カルマンフィルタによる重心のトラッキング（曲線ｂ）では、１２０フレーム目以降、他のオブジェクトを誤ってトラッキングした。【０１７９】
（まとめ）
以上に示したように、カルマンフィルタによる重心のトラッキング（曲線ｂ）は、雑音の少ない状況では良い精度を示したが、しばしば動的誤検出された領域を誤ってトラッキングした。コンデンセーションによる輪郭トラッキング（曲線ｃ）では、歩行者の輪郭の遷移に対して、主成分分析による制約が難しいため、スケール誤差が増大し、トラッキングに失敗した。コンデンセーションによる歩行者輪郭トラッキング（曲線ｄ）は、トラッキングターゲットが動的誤検出された領域と重なる場合に、推定された輪郭が大きく乱れ、著しい精度の低下を示した。【０１８０】
一方、提案手法（曲線ａ）は、従来の手法（曲線ｂ，ｃ，ｄ）ではトラッキングに失敗するようなシーケンスにおいても、安定したトラッキングを実現した。４パターンのスケルトンモデル（ａ）〜（ｄ）を比較した結果、スケルトンモデル（ｂ）はどのシーケンスにおいても安定した精度を見せた。また、提案手法のトラッキング精度が、粒子数を増やすことにより、向上することを確認できた。【０１８１】
なお、提案手法、すなわち、本発明の歩行者トラッキング方法及び歩行者トラッキング装置は、シーケンスＧ２のような静的誤検出に対して、式（３６）における重み係数ξを適応的に変化させて粒子の尤度を算出することにより改良可能である。また、拡大するオブジェクトへの対処に対しては、式（２２）に示したズームパラメータｚの算出手法に移動方向に応じた要素を反映させることにより対処可能である。また、提案手法は、初期状態ベクトルを画像から自動生成するようにすることができる。提案手法は、画像中の複数の歩行者に対してそれぞれ独立に適用することができる。これにより、複数の歩行者を同時にトラッキング可能である。この場合に、相互に、近隣の歩行者の動きを尤度の算出に反映させることにより、より効率的に複数の歩行者をトラッキングできる。【０１８２】
また、図８および図１０に示したスケルトンモデルにおける節点ｂの座標の分散σ２を算出し、当該分散が一定の値を超える場合には、追跡対象は歩行者でないと判定し、追跡を終了するようにしてもよい。節点ｂの座標をｘ，ｙ（座標値ｘｉ，ｙｉ；ｉ＝０〜Ｎ、その平均をｘｍ，ｙｍ）とすると、分散σ２は次式（４０）で与えられる。
【数２３】
0004686663.tif 000028
【０１８３】
上述のように、予測工程によって予測された各スケルトンモデルにおける、胴体スティックと頭長スティックとの節点ｂの座標の分散σ２を算出し、当該分散σ２が一定の値を超える場合には追跡を終了する工程、をさらに備えることにより、非歩行者を誤って歩行者領域として抽出してしまった場合であっても、節点ｂの座標の分散σ２から、追跡対象が歩行者でないことを判別でき、誤った追跡を終了することができる。【０１８４】
また、本発明は、上記構成に限られることなく種々の変形が可能である。例えば、歩行者トラッキングを、前段の候補領域の分類にフィードバックすることにより、その精度の向上に利用できる。また、尤度を算出するため、スケルトンモデルと比較する対象となるモルフォロジカルスケルトン（画像から画像処理によって得られたスケルトンモデル）として、上述した距離変換画像を用いる方法の他に、図７（ｂ１）〜（ｂ３）に示すような、収縮演算（Ａ◎Ｂ）と切断演算（Ａ◇Ｂ）とを用いて得られるモルフォロジカルスケルトンを用いることができる。また、本発明の歩行者トラッキング方法及び歩行者トラッキング装置は、歩行者に限らず、移動物体、例えば、動物やロボットなどの種々なオブジェクトに対し、それぞれスケルトンモデルによりモデル化して、適用することができる。【０１８５】
なお、本発明の歩行者トラッキング方法及び歩行者トラッキング装置は、ＣＰＵやメモリや外部記憶装置や表示装置や入力装置などを備えた一般的な構成を備えた電子計算機上のプロセス又は機能の集合を用いて構成することができる。【０１８６】
この出願は２００６年７月１０日付けの特許出願に基づいて優先権主張を行う。その出願の内容の全体が参照によって、この出願に組み込まれる。
【図１】
0004686663.tif 000029
【図２】
0004686663.tif 000030
【図３】
0004686663.tif 000031
【図４】
0004686663.tif 000032
【図５】
0004686663.tif 000033
【図６】
0004686663.tif 000034
【図７】
0004686663.tif 000035
【図８】
0004686663.tif 000036
【図９】
0004686663.tif 000037
【図１０】
0004686663.tif 000038
【図１４】
0004686663.tif 000039
【図１５】
0004686663.tif 000040
【図１６】
0004686663.tif 000041
【図１７】
0004686663.tif 000042
【図１８】
0004686663.tif 000043
【図１９】
0004686663.tif 000044
【図２１】
0004686663.tif 000045
【図２２】
0004686663.tif 000046
【図２３】
0004686663.tif 000047
【図２４】
0004686663.tif 000048
【図２５】
0004686663.tif 000049
【図２６】
0004686663.tif 000050
【図２７】
0004686663.tif 000051
【図２８】
0004686663.tif 000052
【図２９】
0004686663.tif 000053
【図３０】
0004686663.tif 000054
【図３１】
0004686663.tif 000055
【図３２】
0004686663.tif 000056
【図３３】
0004686663.tif 000057
【図３４】
0004686663.tif 000058
【図３５】
0004686663.tif 000059
【図３９】
0004686663.tif 000060
【図１１】
0004686663.tif 000061
【図１２】
0004686663.tif 000062
【図１３】
0004686663.tif 000063
【図２０】
0004686663.tif 000064
【図３６】
0004686663.tif 000065
【図３７】
0004686663.tif 000066
【図３８】
0004686663.tif 000067