NAIST-IS-MT0351046

修士論文

ステレオビジョンによる人の検知手法に関する研究笠島 尚志

2005 年 2 月 3 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
笠島 尚志

審査委員：

緒方 司郎 教授
横矢 直和 教授
千原 國宏 教授
諏訪 正樹 助教授

ステレオビジョンによる人の検知手法に関する研究3
笠島 尚志

内容梗概
本論文は，カメラから得られる画像データのみを用いて人を検知・追跡する手法に関するものである．近年，セキュリティに対する意識の向上から，監視カメ
ラで捉えた画像から人を検知し，追跡するビジョンセンシング技術のニーズが高まっている．また，自動で画像内から人を検知し，移動軌跡を検出した結果は，小売店舗で必要とされるマーケティング情報に直結するものである．画像データ
から人を検出・追跡する技術はその多くが，主に低コストであるという観点から単眼カメラでおこなわれているのが現状である．単眼カメラによるビジョンセン
シングでは，対象の見かけ変化や隠れが発生した場合に安定した結果を得ることが困難であることが従来から指摘されてきた．
そこで本論文では，3 次元空間情報を利用するビジョンセンシング技術を提案す

る．具体的にはステレオカメラを用いて画像中の特徴点群から 3 次元空間情報を取得し，得られた 3 次元空間情報を人のアピアランスモデルをベースにクラスタリングすることで人検知を行う．さらにクラスタリング結果から，推定した人の3 次元空間上での存在位置を統計処理を用いて時空間的に連結することで追跡を行う．輝度値を直接利用せず，ステレオ視により得た人の 3 次元情報を特徴量として利用することで，カメラ設置位置に対する制約が非常に少ない，ロバストな
人検知および追跡の実現が可能になった．また，市販のカメラおよびコンピュータを用いることで，手軽で自由度の高いシステム実現を可能とした．
キーワード
ステレオビジョン, 特徴抽出 , 人検知, 人追跡, カルマンフィルタ, ロバスト性
3 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT0351046, 2005

年 2 月 3 日.

iStudy of Human Detection using Stereo Vision3
Hisashi Kasajima
Abstract
This thesis discusses a stereo-based vision system for the human detection andtracking. Recently, needs of human detection and tracking technology based on
vision sensing are rapidly rising with increasing awareness about security. In addition, it is directly linked to marketing research in the retail industry to analyze
trajectories of the customers using vision sensor. Most conventional human detection and tracking systems have only a monocular camera from a viewpoint of
low-cost. However, it has been pointed out that conventional vision based systems do not work well when the appearance change on the image or occlusion of
the objects occur.
This thesis proposes a novel human detection and tracking method using 3D
information. In our method, 3D space information is calculated using some feature points, which almost exist on the contours of each humans. Each personin the image is detected by our proposed algorithm, which is based on new human appearance model. Furthermore, detected persons can be tracked on the 3D
space using statistical spacio-temporal method. Our proposed method realizes arobust human detection and tracking system and also can construct a low cost
system with o -the-self cameras and PC.

Keywords:
stereo vision, feature extraction, human detection, human tracking, kalman lter,robustness
3 Master's Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT0351046,

ii

February 3, 2005.

目次

1. 緒言

1.1 はじめに
1.2 ビジョンセンシングにおける人の検知および追跡手法
1.3 本研究の目的と論文の構成

1: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : :: : : : : : : : : : : : : : : : : : : : : :4

2. ステレオビジョンによる人検知および追跡

2.1 従来の人検知および追跡手法
2.2 特徴点抽出
2.3 ステレオ画像処理技術
2.3.1 ステレオ画像処理原理
2.3.2 ステレオマッチング
2.4 クラスタリング手法
2.4.1 階層型分類
2.4.2 非階層型分類
2.4.3 ステレオビジョンによる人検知 [7],[9]2.5 追跡手法: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :3. 人検知および追跡のロバスト性の向上

3.1 Harris Operator を利用した特徴点抽出
3.1.1 応答関数出力値 と特徴点の関係
3.1.2 人輪郭特徴点の抽出
3.1.3 本手法の特徴
3.2 姿勢変化に対応した人の検知
3.2.1 頭部位置検出フィルタ
3.2.2 3 次元追跡モデルを利用した時空間追跡
3.2.3 クラスタ毎の高さ閾値の更新
3.2.4 姿勢変化が発生した場合の人検知
3.2.5 本手法の特徴: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : :: : : : : : : : : : : : : : : :: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :

iii

4
5
7
7
8
9
9
11
12
13

15

: : : : : : : : : : : : : : :

R

1
1
2

15
16
18
18
20
21
22
25
26
27

4. 実験

28

4.1 概要4.2 実験環境およびシステム構成
4.3 実験結果
4.3.1 通常歩行時
4.3.2 ジャンプアップ時
4.3.3 転倒時
4.3.4 多人数出現時: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :5. 考察

5.1 本手法の性能検証に対する考察
5.1.1 処理時間
5.1.2 位置追跡精度
5.2 従来手法（[9]) との比較
5.2.1 処理時間
5.2.2 位置追跡精度

28
29
30
30
32
34
36

38
: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :

38
38
38
39
39
39

6. 結言

41

謝辞

42

参考文献

43

1

iv

図目次

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

全体処理フロー : : : : : : : : : : : : : : : : : : : : : : : : : : : :テンプレートマッチング : : : : : : : : : : : : : : : : : : : : : : :ステレオ画像処理原理: : : : : : : : : : : : : : : : : : : : : : : :人物輪郭モデル : : : : : : : : : : : : : : : : : : : : : : : : : : : :濃淡変化がない場合: : : : : : : : : : : : : : : : : : : : : : : : :勾配方向が一様な場合 (エッジ): : : : : : : : : : : : : : : : : : :勾配が交わる場合 1 : : : : : : : : : : : : : : : : : : : : : : : : : :勾配が交わる場合 2 : : : : : : : : : : : : : : : : : : : : : : : : : :勾配が交わる場合 3 : : : : : : : : : : : : : : : : : : : : : : : : : :入力画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :特徴量を輝度値に変換した画像
人高さ閾値

: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :検知追跡処理フロー: : : : : : : : : : : : : : : : : : : : : : : : :高さ方向重みの設定: : : : : : : : : : : : : : : : : : : : : : : : :Kalman Filter フロー: : : : : : : : : : : : : : : : : : : : : : : : :姿勢変化に伴う高さ位置の変動: : : : : : : : : : : : : : : : : : :通常歩行時の画像 : : : : : : : : : : : : : : : : : : : : : : : : : : :xz 平面から見た軌跡 (提案手法)
xz 平面から見た軌跡 (従来手法)
xy 平面から見た軌跡 (提案手法)
xy 平面から見た軌跡 (従来手法)
yz 平面から見た軌跡 (提案手法)
yz 平面から見た軌跡 (従来手法): : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :ジャンプ時の画像 : : : : : : : : : : : : : : : : : : : : : : : : : : :xz 平面から見た軌跡 (提案手法)
xz 平面から見た軌跡 (従来手法)
xy 平面から見た軌跡 (提案手法)
xy 平面から見た軌跡 (従来手法)v: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :

5
6
7
12
17
17
17
17
17
19
19
20
21
22
24
26
30
31
31
31
31
31
31
32
33
33
33
33

29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

yz 平面から見た軌跡 (提案手法)
yz 平面から見た軌跡 (従来手法)
転倒時の画像: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : :xz 平面から見た軌跡 (提案手法)
xz 平面から見た軌跡 (従来手法)
xy 平面から見た軌跡 (提案手法)
xy 平面から見た軌跡 (従来手法)
yz 平面から見た軌跡 (提案手法)
yz 平面から見た軌跡 (従来手法): : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :多人数出現画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : :xz 平面から見た軌跡 (提案手法)
xz 平面から見た軌跡 (従来手法)
xy 平面から見た軌跡 (提案手法)
xy 平面から見た軌跡 (従来手法)
yz 平面から見た軌跡 (提案手法)
yz 平面から見た軌跡 (従来手法): : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :

33
33
34
35
35
35
35
35
35
36
37
37
37
37
37
37

表目次

1
2
3
4
5
6
7

特徴点抽出パラメータ: : : : : : : : : : : : : : : : : : : : : : : :人検知パラメータ : : : : : : : : : : : : : : : : : : : : : : : : : : :実験環境およびシステムのスペック : : : : : : : : : : : : : : : : :通常歩行時の位置追跡精度および処理時間 : : : : : : : : : : : : :ジャンプ時の位置追跡精度および処理時間 : : : : : : : : : : : : :転倒時の位置追跡精度および処理時間: : : : : : : : : : : : : : :多人数出現時の位置追跡精度および処理時間 : : : : : : : : : : : :

vi

28
29
29
30
32
34
36

1. 緒言1.1 はじめに
近年，侵入・盗難などの防犯，財産保全および人身の安全確保などセキュリティに対する関心が高まってきており，不審者や侵入者を自動で検知する技術に対するニーズは今後さらに増えていくものと思われる．また，小売店舗におけるプロ
モーション戦略，商品戦略等の構築において，人の動作軌跡は重要なマーケティ
ング情報の一つである．このように人の存在を検知し，その動きを追いかける技
術は，様々なアプリケーションへの展開が考えられる重要な基盤技術である．本
論文では入力系としてカメラを用いた人の検知・追跡技術について述べる．カメラで捉えた画像を処理（ビジョンセンシング）することで視野内にいる人を検知し，追跡する技術は，

1. エリア内に進入した人を検知し，追跡することで行動を認識する監視シス
テム

2. 小売店舗内における人の移動軌跡を利用したマーケティング調査
3. 各施設での入退場者数計測
4. エレベータや駅，停留所等での待ち人数計測など様々な応用が考えられる．またビジョンセンシング技術は，既存の赤外線センサなどと比較して，可視的な情報が得られることや，処理エリアが広いことからも今後の普及が期待される分野である．また，録画が可能であり，目視による直接的なモニタリングが不要となり，ネットワークを利用することによって遠隔監視が可能であるという利点もある．

1.2 ビジョンセンシングにおける人の検知および追跡手法
ビジョンセンシングにおける現状の課題は検知性能に対する信頼性である．人間同士が画像上で重なるような状況下において正確に切り分けることができない，1

影，照明変動，映りこみなど周囲の環境変動を誤って人と認識してしまうなどが挙げられる．
単眼カメラを用いて人検知を行うビジョンセンシング技術には，多くの既存技術が存在する．単眼輝度画像を用いることで人検知を行う [1], [2], [3] 等は，背景差分, フレーム間差分を基本をした手法により人検知を行っている．そして，オ

プティカルフロー等の動きベクトルに基づく手法で追跡を行う．森田 [4] は局所相関演算に基づいた動き検知オペレータで動物体を検知し，動き検知処理と動きベクトルを組み合わせることで追跡を行っている．Javed ら [5] は，複数の単眼カ
メラを視野が被さるようにシーケンスに並べ，人の検知および追跡を実現している．これらの単眼カメラを用いたビジョンセンシングによる人検知は，人の重なり, 隠れ，照明変化等の環境条件の変動に対してロバストに対応できない．

ステレオビジョンでは対象の 3 次元情報を用いるため，照明変化等の環境条件の変動に対してロバストに対応できる．Beymer ら [6] は横方向と縦方向にカメラを設置して，視点依存性の少ないステレオ距離情報を得て人の検知，追跡を行っている．しかしながらカメラ設置位置に制限があり汎用的ではない．また，池谷ら [7], [9] は，交通流センサに用いられている自社開発技術 SV(Silhouette Vision)
を用いた人検知処理を実現している．ステレオビジョンを利用することで，環境の変化に依存しない, 人同士が重なるといったオクルージョンに強い検知を実現している．しかしながら，3D 空間中のある高さに固定した人のアピアランスモ
デルを利用した検知を行っているため，様々な姿勢の人を検知することが難しい．

1.3 本研究の目的と論文の構成
本論文では，重なりや照明変動等に強い高精度でロバストな人検知，追跡および設置位置に自由度を持たせた汎用的なシステム構築を目的とする．文献 [7], [9]で提案された手法をもとに，人の輪郭上に存在する特徴点を抽出する処理，姿勢変動が起こった場合にも対応可能な人検知処理，時空間的な統計処理による 3 次
元的な人追跡処理手法を新たに提案する．
特徴点抽出においては，Harris Operator を利用して，画像信号の相関性と特徴点の関係に着目し，それらを閾値として与えることで，できるだけ人の輪郭上か

2

ら特徴点を抽出できるようにする．そして，得られた特徴点群からエピポーラ拘束に基づいてステレオマッチングを行い，3D 空間座標を算出する．高さ位置推定値と現在高さ位置に対し，頭部位置検出フィルタをかけることで次フレームでの高さを決定し，人の輪郭モデルに基づく最長距離法により人検出を行う．得られた人の重心空間座標を Kalman Filter を利用して追跡を行うことで 3 次元的な動きの追跡を実現する．高さ情報を追跡モデルに加えることで，3 次元的な追跡を可能とし，現在の追跡結果を一期先の人検知および追跡にフィードバックさせることで，人検知追跡の精度向上を図る．
次に本論文の構成を述べる．第 2 章ではステレオビジョンを利用した人検知追跡システムについて言及するとともに，ステレオビジョンを用いた人検知および追跡手法の概要について述べる．第 3 章では本研究で提案した手法について述べ

ると共に理論的検討を行う．第 4 章でシステム概要および提案手法の有効性確認

実験，およびその実験結果を記し，第 5 章で実験結果に対する考察について述べる．第 6 章で本研究の総括を記す．

3

2. ステレオビジョンによる人検知および追跡
本章では，ステレオビジョンを利用した人検知および追跡手法の概要について述べる．特徴点抽出，ステレオ画像処理，クラスタリング，追跡と各処理毎にその手法について言及する．

2.1 従来の人検知および追跡手法
ステレオビジョンでは，人間の視覚と同様に 2 つのカメラで対象を撮像し，三角測量の原理から奥行き位置情報を取得する．単眼画像を用いる場合，画像の輝度情報から直接対象を検知することが多いのに対し，ステレオビジョンでは対象の 3 次元情報を用いるため，環境変動およびオクルージョンの影響が少なく，かつモデル化が画像上でおこなう場合と比べて容易である．ステレオビジョンを適用した人検知追跡実用化例として，Censys3D [8] がある．Censys3D は，Digiclops

Stereo Vision を用いた人検知，追跡システムである．計測地点の上方に 3 眼ステ
レオカメラユニットを配置し，それから得られる 3 次元情報により人の検知と追跡を行う．ステレオ処理なので，影の影響を受けにくく実際の 3 次元物体の変化に対応した計測ができる．しかしながら，カメラ設置位置が天井に制限されているため，設置自由度が小さい．また，追跡は x,z の 2 次元的な情報を用いて追跡を行っているので 3 次元的な動きを追跡できないという欠点がある．また，設置位置に制約をなくした場合の例として林ら [10] の手法がある．カメラの設置位置に自由度を持たせた人検知アルゴリズムであるが，人の重なりに改善の余地があり，かつ追跡に関しては触れられていない．次節では，本研究で提案したステレ
オビジョンによる人の検知および追跡手法の概要について述べる．図 13 にその処理フローを示す．

4

図 1 全体処理フロー

2.2 特徴点抽出
ステレオビジョンを用いて対象の 3 次元情報を算出する場合，2 つのカメラ画

素間の対応関係を求める（以後" 対応づけ"と呼ぶ）必要がある．これには全画素の対応づけをおこなう場合と，あらかじめ設定したルールに基づいて粗くサンプリングした画素のみ対応づけをおこなう場合の二通りが考えられる．前者に基づく手法として，柴山ら [11] の提案手法がある．これは，ステレオビジョンで周期的に背景距離画像をあらかじめ導出し，背景差分により対象を抽出する．ハード
ウエア的に高速化しているため，専用のハードウエアが必要となり，汎用的であるとは言えない．本研究は後者に基づく方式であるため，3 次元情報を算出した
い点（特徴点）をあらかじめ抽出しておく必要がある．特徴点は，面と面の境界

5であるエッジ上やコーナーなどの部分から抽出される場合が多い．
一般的な特徴点抽出手法として，ある画像上の点 p と別の画像上の点 q の残差平方和によるテンプレートマッチングで局所相関を取ることである．

図 2 テンプレートマッチング( )=J p; qX j ( ) 0 ( )j2

Tp i; jTq i; j2

(1)(i;j ) N

N はテンプレートの輝度値，Tp ; T q

はそれぞれ点 p,q を中心とするテンプレートの輝度値を示す．これは，対応する画素間の色や明るさの違いの総和を求めるものであり，この値が小さければ対応する可能性が高い．しかし，点 p,q が一様な色や明るさ領域にあれば，テンプレートを移動しても残差平方和の値の変化が乏しく，対応を決定しにくい．よって，精度の良い対応を求めるにはその近傍で色や濃淡変化の激しい点を選ぶ必要となる [12]．このように点で高い値を与える関数を利用することで，特徴点の抽出を行う operator(作用素) を利用することが一般的である．
ステレオ画像処理で人を検知する際に必要な人らしい特徴として，画像中での人の輪郭が挙げられる．上記手法に基づき，画像上の輝度変化の大きいエッジ,
コーナー点を抽出することで，人の輪郭を得る．

6

2.3 ステレオ画像処理技術

2.3.1 ステレオ画像処理原理
ステレオ画像処理は三角測量の原理に基づいた手法である．複数のカメラを用いて異なる視点から同一対象を見たとき，その画像は若干異なる．左右のカメラの相対的な位置，左右カメラの見ている対象の対応，および画像の違いを用いて距離を逆算し，対象の 3 次元情報を得るものである．

図 3 ステレオ画像処理原理(

その原理について記す．図 3 のように，空間の注目するワールド座標での位置
Xc ; Yc ; Zc

) が，それぞれ画像上の点 (

2
666
64

3 2
777 666
75 = 64

)(

3
777
75

u1 ; v1 ; u2 ; v2

Xc
Yc
Zc

u1 B
d
v1 B
d

fB
d

7

) に投影されたとすると，(2)

ここで，f は焦点距離，d = v1 0 v2 は視差，B はカメラ間距離である．(2) は，
f; Bが既知であれば，2 つの画像上の投影座標から，もとの 3 次元位置が計算できることを意味する．ステレオ画像処理における重要な問題として，2 つの画像における対応 (視差) を精度よく算出することである．一方の画像上の点に対応す

る他方の画像上の点は，ある直線上に存在することが知られている．図 3 の場合，

この直線は画像座標系で y = v1 である．この直線をエピポーラ線と呼び，ステレ
オ画像点が満たすべき条件をエピポーラ拘束 [13], [14] と言う．

本研究では，人検知および追跡を式 (2) で示されるカメラ中心を原点とするカメラワールド座標系ではなく，カメラ中心の床面への垂線の足を原点とする地面
ワールド座標系 (Xg ; Yg ; Zg ) のもとでおこなっている．カメラワールド座標系と

2
666
64

3 2
777 666
75 = R w 64

3 203
777 666 777
75 + 64 75
0

地面ワールド座標系との間には，以下の関係が成り立つ．
Xg
Yg
Zg

c

Xc
Yc
Zc

(3)

H

Rcw はカメラ俯角を含む回転行列， はカメラ高さである．Rcw ， に

ただし

H

H

関しては，図 1 のキャリブレーションの工程でカメラの内部・外部パラメータと共に事前に算出しておく．

2.3.2 ステレオマッチング
2.3.1 に基づいて，左右の画像の対応 (視差) を算出する．本研究では，左画像を基準カメラ画像として，左画像上にウィンドウを設置し，各ウィンドウに対して次式の正規化相互相関を用いて右画像と濃淡値の相関を取ることで対応を算出
する．
rcc

P P ( ( ) 0 ( ))( ( ) 0 ( ))q= qP P( ( ) 0 ( )) P P ( ( ) 0 ( ))
N
i=1

N
i=1

M
j =1 fM
j =1 f i; ji; jf i; jf i; j2g i; j0N 1i=0g i; jM
j =1 g i; jg i; j2(4)

ここで，ウィンドウサイズを N ; M , 基準カメラ画像 (左画像) および対象画像 (右画像) の輝度列を F = f (i; j )i=0;j =0 ; G = g(i; j )i=0;j =0 ，輝度値の平均を f(i; j )N;M
i=0;j =0
N;M

N;M

( )

N;M

; g i; j i=0;j =0

とする．

8

2.4 クラスタリング手法
画像から特徴点を抽出し，ステレオ画像処理を行うことでそれらの 3 次元座標を導出した後に，特徴点間の類似性や非類似性をもとに分類する処理をクラスタ
リング，分類された群をクラスタと呼ぶ．ここで類似性，非類似性の指標は主に距離が用いられる．用いられる距離として，n 個の特徴点について，p 個の変量を持つとする．2 つの特徴点

Xi = (
T

x1i ; x2i ;の距離を Dij ; i; j = 1; 2; 1 1 1 ; n としたとき

 ユークリッド距離

1 1 1 ; xpi );X(Xi Xj) = { (
p

D

;

xki

k =1

Xj = (
T

x1j ; x2j ;1 1 1 ; xpj ) 間

0 xkj )2 }2(5) 絶対距離市街地距離と呼ばれ，各変量毎に 1 変量でのユークリッド距離を計算しその総和を求めるD(X i X j ) =;Xj 0 j
p

xki

xkj

k =1

(6)

 マハラノビス距離
分散と共分散を考慮した距離で
D(Xi Xj) = (Xi 0 Xj) 60 (Xi 0 Xj)
T

;

1

(7)

と表す．ここで 6 は p 変量の共分散行列である．
これらの距離が，類似性，非類似性の指標として主に用いられる．クラスタリン
グ手法にはクラスタが体系化される階層型分類と体系化されずいくつかの最適な分類を行う非階層型分類がある．以下でこれら手法について説明する．

2.4.1 階層型分類
階層型の分類には，個々のデータをそれぞれ 1 つのクラスタとみなしてボトムアップ式に階層化を行う手法が一般的である．抽出した全特徴点に対し，上述し9た距離尺度に基づいて非類似性を求め，非類似性の小さい特徴点同士を融合してクラスタを形成する．代表的な階層型クラスタリング手法として以下のものがある [15], [16]．

クラスタ (a) とクラスタ (b) が最も距離が小さく，これらを融合してクラスタ (c)ができるとする．クラスタ (c) と任意のクラスタ (i) との距離を Dci とする．クラスタ (k) は nk 個の特徴点 Xj k = (x1j (k) ; x2j (k) ; 1 1 1 ; xpj (k) ) で構成され，その重心
はX

(k )

=(

x1

(k )

; x2

(k )

;

1 1 1 ; xp(k) ); (k = a; b; c; i); (j = 1; 2; 1 1 1 ; nk ) であるとする．

 最短距離法

2 つのクラスタ間の距離を各クラスタに含まれる特徴点間の最短距離とする．このとき，クラスタ (c) とクラスタ (i) の距離
は
(8)
= (
) = 12 + 12 0 12 j + jとなる．この手法は，最も近い 1 つの特徴点を含むクラスタを逐次融合し
Dci

Dci

Dai

min Dai ; Dbi

Dbi

Dai

Dbi

ていくので，線状クラスタの検出に優れている．融合が行われる毎に距離が近づくため，空間が収縮する．

 最長距離法

2 つのクラスタ間の距離を各クラスタに含まれる特徴点間の最長の距離と定義する．このとき，(c) クラスタと (i) クラスタの距離
は
(9)
=
(
) = 12 + 12 0 21 j + j
この手法は，最短距離法とは逆に融合が行われていないクラスタ (i) は融合が行われたクラスタ (c) から離れるため，空間が拡散される．よって分類の
Dci

Dci

Dai

max Dai ; Dbi

Dbi

Dai

Dbi

感度は高まる．また，クラスタ構成が密になり，クラスタは似たような大きさになる傾向がある．

 群平均法2 つのクラスタ間の距離を各クラスタに含まれる特徴点間の全ての組合わせの距離を求め，その平均値をクラスタ間の距離と定義する．このとき，クラスタ (c) とクラスタ (i) の距離 Dci は
Dci=

na Daina++

nb Dbi
nb

10

=

na
nc

Dai

+

nb
nc

Dbi

(10)

で表す．この手法は，空間の収縮や拡散が少なく，球状のクラスタを作る傾向がある．

 重心法
各クラスタに含まれる特徴点の重心を求め，重心をクラスタの代表点とし，重心間の距離をクラスタ間の距離と定義する．このとき，クラスタ (c) とク

ラスタ (i) の距離 Dci は
Dci

=

X
p

na xj

a

na

j =1

+
+

nb xj

b

nb

0 xj (i)

=
2

na
nc

Dai

+

nb
nc

Dbi

0

na nb

( )
nc

2

Dab

(11)

で表せる．

 ウォード法
クラスタ内の偏差平方和を計算し，融合したクラスタの全体の偏差平方和の増加を最小にする 2 つのクラスタを融合する．すなわち，クラスタ (c) とクラスタ (i) が融合することによる偏差平方和の増加

1

Sci

=

n c ni
nc

+

ni

X(
p

i=1

xi

(c)

0xi (i) )2 =

nc

1
+

ni

{(na +ni )1Sai +(nb +ni )1Sbi 0ni 1Sab }(12)を最小にするようにクラスタを融合することである．よって，クラスタ (c)とクラスタ (i) の距離離は= +1 {( + ) + ( + ) 0 1 }
(13)
Dci

Dci

nc

ni

na

ni Dainb

n i Dbi

ni

Sab

と表せる．

2.4.2 非階層型分類
非階層的クラスタリングとは，初期状態として適当なクラスタ中心を設定し，そのクラスタ内のメンバを組み替えて少しずつよりよいクラスタを求めていく手法である．一般的に非階層型クラスタリングは，クラスタ数が既知であるか各クラスタ数にある程度まとまりがあるという条件が必要になる．よって，クラスタ数が未知のものに対して適用しようとした場合には結果に恣意性が入ってしまい，

11汎用的であるとは言えない．
非階層型クラスタリング手法の代表的なものとして，K 平均法,ISODATA 法がある [17]．K 平均法は，特徴点をクラスタリングする際に，事前にクラスタ数，および初期クラスタの中心値を与える必要があり，それらの設定によって得られる
クラスタ形状が変ってくる．ISODATA 法は，設定したクラスタ数の 12 〜2 倍の範囲で自律的に有効なクラスタ数を決めることができるが，初期クラスタ設定だけ
ではなく，事前に調整しなければならないパラメータが多数存在する．

以上いくつかの代表的なクラスタリング手法について述べてきたが，本研究ではこの中から最長距離法を利用する．主な理由としては，(1) 人の輪郭から抽出された特徴点群は，3 次元空間上で似たような広がりをもつこと (2) 特徴点群の分類感度は高いことが望まれる（一人一人の検知を確実におこないたい）ことが挙げられる．次節で最長距離法に基づく具体的なクラスタリング方法について述
べる．

2.4.3 ステレオビジョンによる人検知 [7],[9]本研究では，画像から抽出された特徴点群をステレオ画像処理を行うことで 3次元空間に投影した後，それらをクラスタ数未知の条件下でクラスタリングする
ことで人領域を抽出する手法を利用している．クラスタリングの際には，3 次元
空間中での人特徴点の分布は，ある大きさの円錐内に分布すると仮定する．

図 4 人物輪郭モデル

12これは，人は歩行中，静止中の際には，手が肩を支点として下方に下がった状態にあり，図 4 に示すように，人間の上半身は円錐内に分布する．このモデルを前述したユークリッド距離を使った最長距離法の尺度に適用し，

q( ) = ((

D i; jxi

0 xj )2 + (zi 0 zj )2 ) + {min(yi ; yj ) 0 of f set}(14)とすることで，人の分解能性能を向上させている．ここで，of f set は 1[m] とし，
は重み係数で，X,Z 平面上での一人の胴体部特徴点間の最大距離を Lbody ，二人の頭部特徴点間の最大距離を Lhead ，人間の平均身長を H とすると


=

Lbody
H

0 Lhead0 of f set(15)で求められる．

2.5 追跡手法
追跡処理では，検知した人領域を時系列に 3 次元空間内で追跡する．計算コスト等により，導出した 3 次元空間情報をそのまま使わず，情報を落して平面的な追跡を行う．床面を X; Z 軸, 高さを Y 軸としたとき，censys3D のようにカメラ設

置位置が天井等の人の頭部位置よりも情報に場合は，高さ情報 (Y 座標) 用いずに平面的 (XZ 平面) な追跡をおこなう．森ら [18] は，多視点で得られた観測情報を統合して Kalman Filter を用いて平面的 (XZ 平面) な追跡をおこなっている．文献 [7],[9] では，前述のクラスタリングをにより得た人領域を xz 平面で追跡する．
追跡を行う際の追跡注目点としては

 最大値
 最小値
 重心値
等が挙げられるが，ノイズによる影響を軽減でき，安定した追跡をすることが可能であることから重心値を採用している．

13

追跡は過去のクラスタ位置情報から現フレームでの位置を，人の移動は局所的に等速直線運動であるという仮定の下で以下のように
xi+1

= + (

0 xi01 )

(16)

zi+1

= + ( 0 0)

(17)

xi

zi

r xi

r zi

zi

1

クラスタ移動量から推測する．ここで，r はクラスタ位置の予測割合である．

14

3. 人検知および追跡のロバスト性の向上
2 章では，ステレオビジョンを利用した人検知および追跡手法の概要について言及したが，ここでは，本研究で提案した手法の詳細について説明する．提案手法は，人検知および追跡をロバストに行う上で重要な観点，

 人の輪郭を形成する特徴点を高精度に抽出 姿勢変化に依存しない人検知
 空間的な人追跡を実現する．上記観点を実現するアルゴリズムの流れについて簡単に説明する．
まず高精度に人輪郭特徴点を抽出し，ステレオ対応付けにより視差を算出することで人の空間座標を求める．求めた空間座標から人検出を行い，追跡を行う (ボトムアップ追跡）．この際，追跡のモデリングにおいて人検出に必要となる高さ
情報を加えることで，3 次元的な追跡を実現し，その結果を一期先クラスタリン
グ情報にフィードバックする（トップダウン追跡）．以上の繰り返し処理により，ロバストな人検知および追跡を実現する．これら処理について説明すると共に，その理論的検証を行う．

3.1 Harris Operator を利用した特徴点抽出
ここでは，Harris Operator を用いて高精度に人輪郭特徴点を抽出する方法について述べる．本研究で利用する Harris Operator [19] とは，画像信号の相関性に基づいて特徴点を導出する手法で，エッジ, コーナー等の特徴点において相関

出力値が大きくなる operator である．Schmid ら [20] によると，この operator は回転，拡大などの画像変形が発生した場合にも，同一の点に特徴点が検出される再現性が高いとされている．
入力画像上の座標 (x; y ) における輝度値を I (x; y ), 輝度勾配を rI (x; y ) =@I (x;y )@x;

座標 (x; y ) を中心とした幅 r k(x; y ) 0 (x0 ; y0)k の正方形窓を N (x0 ; y0; r), 窓の移@I (x;y )動量を (1x; 1y ) とする．このとき，座標 (x; y ) を中心とした窓 N (x0 ; y0 ; r ) と，

15

@y

,

( +1
x

x; y

+ 1 ) を中心とした ( + 1yN x0+ 1 ) の最小残差平方和 ( )y; rX ( ( )0 ( +1を求める．

( ) = minf N0

I x; y

2

I x

f N0

x; y

+ 1 ))(18)y(x;y ) N0

( +1

I x

x; y0

x; y

+ 1 ) は Taylor 展開を利用することにより
y

( +1

I x

x; y

21 3
5
+ 1 ) ( ) + r ( ) 41yI x; yI x; y

T

(19)

X
Y

と近似が可能である．よって式 (18) は，

21 3
5 [1 1 ]( ) 4121 3
4 1 5 [1 1 ]
2 3h
X
X
4 5
=
r (
) r ( )=

(20)

X

f N0

A

x;

y

Y

と近似ができる．ここで

X

;

x;

y

は一定値であるので，正定値行列

Y@I (x;y )A

I x; y2TI x; y2(x;y ) N0(x;y ) N0@x@I (x;y )@I (x;y )@I (x;y )@x@yi (21)@yが r 近傍の残差に相当する．Harris Operator の応答関数 R は，この正定値行列の固有値 1; 2 からA(

R x; y)=detA

0 (trA)2

で定義される．このとき，detA = 1 2 = A(1; 1)A(2; 2) 0 A(1; 2)2 ,trA

(1 1) + (2 2) で は曲率である．

A

;

A

;

(22)
= + =
1

2



3.1.1 応答関数出力値 と特徴点の関係
R

正定値行列 A の固有値 1 ; 2 の値によって窓 N0 内の特性が変ってくる．

図 5 では，窓内の濃淡変化がない場合で，このときは行列 A の固有値 1 ; 2 が0 になることは明らかである．図 6 に示すように，エッジなど勾配方向が一様である場合は，特異行列であるため行列 の固有値のどちらかが 0 になる．
また図 7,8 にあるように，勾配方向が交差する場合 (コーナー) においては，行列A

16

 1 ; 2

図 5 濃淡変化がない場合

図 6 勾配方向が一様な場合 (エッジ)図 7 勾配が交わる場合 1 図 8 勾配が交わる場合 2 図 9 勾配が交わる場合 3Aはフルランクの正則行列であるので，固有値 1 ; 2 とも 0 より大きくなる．図9 の特異点の場合も同様のことが言える．
特徴点の性質と，固有値の関係を (22) に適用することによって，応答関数 (R x; y)の出力値に応じて特徴点の種類を特定することができる．すなわち，応答関数(

R x; y) と特徴点の間に

 R(x; y)
=0
窓内に特徴点が存在しない R(x; y) < 0
窓内にエッジが存在 R(x; y) > 0
窓内にコーナーが存在が成立する．応答関数の出力値に対する任意の閾値を設定することで，必要とする特徴点の抽出が可能となる．

17

3.1.2 人輪郭特徴点の抽出
しかしながら応答関数の出力値特性だけでは，必要としている人の輪郭を形成する特徴点を抽出することは困難である．画像中での人特徴点は輝度変化が大きくなる．よって，近傍での色や濃淡変化が激しい場合は応答関数 R の出力値が大
きく (小さく) なることに着目し，コーナー：Rn (xn ; yn ) > Rn01 (xn01 ; yn01 ) > 1 1 1 > R1 (x1 ; y1 ) > Tc 0(23)

エッジ：Rn01 (xn ; yn ) < Rn01 (xn01 ; yn01 ) < 1 1 1 < R1 (x1 ; y1 ) < Te 0(24)

なる特徴点を抽出する．濃淡変化の激しいものから順に抽出することになり，これらを人物特徴点候補とする．ここで Tc ; Te は応答関数閾値，n は抽出する特徴
点番号である．さらに計算コスト削減も考慮し，本研究では幅 D の正方形窓 WD
内でコーナー：(xf ; yf ) = arg
エッジ：(xf ; yf ) = arg

max
2(xi ;yi ) WD

min2

(xi ;yi ) WD(

R xi ; yi(

R xi ; yi

)

)

(25)
(26)

なる (xf ; yf ) を最終的な特徴点として抽出する．図 10 に対して，上述した手法に基づき算出された特徴量を輝度値に変換した画像を図 11 に示す．

3.1.3 本手法の特徴
Harris Operator の応答関数出力値に着目して，特徴点の性質を分離し，人の輪郭を形成する特徴点を高精度に抽出可能とする．以下に本手法の特徴について列
挙する．

 特徴

{ Harris Operator 応答関数の出力値特性に基づいて特徴点抽出を行う{ 特徴点間の距離尺度を組み合わせることにより，抽出点にばらつきをもたせ，できるだけ少なくかつ人を検知するのに十分な特徴点抽出が可能

18

図 10 入力画像

図 11 特徴量を輝度値に変換した画像

19

3.2 姿勢変化に対応した人の検知

2.4.3 節で述べた人検知技術 [7], [9] では，人の輪郭形状モデル (図 4 参照) を用いることで，人の検知をおこなう．この際，直立状態にある人は，高さ (Y 座標)1〜2[m] の間に上半身が入ると仮定し，この間にある特徴点群を人の候補とする．
式 (14) で表される，高さ情報を利用した最長距離法に基づくクラスタリングにより人の検知をおこなう．
この手法は，図 12 のように人物輪郭モデルの高さ閾値 T H = 2:0; T L = 1:0 を
あらかじめ設定し，この領域内にある特徴点を人候補としている．

図 12 人高さ閾値

しかしながら，座った場合，倒れた場合など，高さ (Y 軸) 方向の移動が発生したときに柔軟に対処できない．そこで本研究では，高さ情報を加えた追跡を行い，その結果を一期先の高さ (Y 軸) 推測値としてフィードバックすることで，クラスタ毎に高さ閾値を動的に設定する方法を提案する．クラスタリングは動的に更新された閾値を用いておこなわれる．本提案手法は，追跡結果を検知処理にフィードバックさせることにより，高精度な人検知を実現し，検知結果を追跡に利用することでより安定した追跡をおこなえるのが特徴である．処理のフローを図 13 に示す．

20

図 13 検知追跡処理フロー

3.2.1 頭部位置検出フィルタ
人に高さ (Y 軸) 方向の変化 (座る，倒れる等) が生じた場合，変動量が顕著に現れる箇所として，頭部が挙げられる．したがって人のクラスタから頭部らしき位置が検出できれば，その軌跡から人に高さ (Y 軸) 方向の変化を追従できると考えられる．
従来の頭部位置の検出手法としては色情報を用いるものとして，宮脇ら [21]は HSV 色相空間を利用して画像中から肌色領域を検出することで顔領域を抽出し,Y.Dai ら [22] は濃淡画像のテクスチャ情報を YIQ 基底で表現されたカラー画

像の I 成分に適用して顔領域を検出している．しかしながら，色情報は背景シー
ンの色彩成分の特性に大きく左右される．
本研究では，ステレオビジョンにより得た人特徴点群の 3D 情報のみを利用して頭部近辺位置の検出を行う．人の頭部位置は，座る・倒れる等の姿勢変動が発生した場合にも，基本的には人の中心（重心）位置よりも上部に位置する．この点に着目し，人クラスタ hi 内の 3D 特徴点群の高さ yhi ;j 値に対して
0

yh ;k
i

=

( = 1 2 3 4) ( = 1 2 1 1 1 )wj yhi ;k ; k

;

;

;

; k

;

;

;n

(27)

と重み付けした位置を重心値とは別に保持する．このとき重み wj は，図 14 のよ

うに設定する．直立状態にある人の頭部位置が，輪郭モデル内の高さ (Y 軸) 方向

21

に上から 1=2〜2=3 の間にあると仮定する．この位置にある wj の重みを最大にすることで，頭部位置近辺にある特徴点の高さ (y) 座標値が検出される．

図 14 高さ方向重みの設定

そして，重み付け高さ y0hi ;j と特徴点の高さ yhi ;j の重心 yh0 i ; yhi を以下のように

X
X
 =1

求める．

0 = 1

y h

i

n

n

yh ;k
i

(28)

yhi ;k

(29)

0

k=1
n

yhi

n

k =1

3.2.2 3 次元追跡モデルを利用した時空間追跡
追跡処理では，検知処理部から送られてきた観測情報 (人の位置，時刻) を基に，状態量の最適な推定値を計算する．この計算には Kalman Filter を用いる [23], [24],[25]．

Kalman Filter は観測信号を入力する線形ダイナミカルシステムであり，コンピュータにより容易に表現ができる．人の動きは局所的（微小時刻間）に見た場合，等速直線運動とみなせる．したがって本手法の処理時間オーダー（数百ミリ秒）では，人の追跡は線形モデルで十分適用可能であると考えられる．
時刻 t における人 h の状態は，= (x ; y ; y0 ; z ; x_ ; y _ ; y0_ ; z _ ) の
i

X

hi ;t

hi

hi

hi

hi

hi ;t

hi ;t

hi ;t

hi ;t

8 次元ベクトルで構成される．ここで，    は，人クラスタのの重心点を， 0 は，人クラスタ内特徴点群の高さ値に対して重み付けをし導出しxhi ; yhi ; zhi

yh

yhi

i

22

x; y; z

た重心値である．また，xh_i ;t ; yh_i ;t ; yh0_i ;t ; zh_i ;t は，それぞれ時刻 t における X; Y ; Z
軸方向への速度を表す．

X

人 hi の時刻 t + 1 の状態は，時刻 t における状態

hi ;tから推定することができる．これを状態モデルとし，Xhi ;t+1= FX + w
hi ;t

(30)

t

w は系に加わる 8 次元の外乱ベクトルで，平均が 0, 共分散がQ とする．また，F はで表す．ここで，t

21 0 0 0 1 0 0 0 3
666
777
0
1
0
0
0
1
0
0
666
777
666 0 0 1 0 0 0 1 0 777
F = 6666 0 0 0 1 0 0 0 1 7777
666 0 0 0 0 1 0 0 0 777
666 0 0 0 0 0 1 0 0 777
64 0 0 0 0 0 0 1 0 75

t

T

T

T

(31)

T

0 0 0 0 000の 828 行列で，1t はフレームレートの逆数である．
時刻 t における人 hi の状態予測値

X

hi ;t+1

1が，平均^xhi ;t , 共分散  hi ;t のガウスP分布で表現されるとすると，この分布に基づく時刻 t + 1 における人 hi の状態の予測分布平均  hi ;t+1 , 共分散 Phi ;t+1 は

X

X

= X^
F

hi ;t+1P

hi ;t+1= P^Fhi ;t F

(32)

hi ;t

T

+Q

(33)

t

で与えられる．
次に，時刻 t において人 hi の重心位置が観測されたとし，観測点を

Z

hj ;t

とす

る．このときの観測モデルは

Z = HX + v
hj ;t

hi ;t

23

t

(34)

v
既知である．また，H はで表せる．ここで， t は 4 次元の測定誤差ベクトルで，平均が21 0 0 0 0 0 0 03
666
777
H = 666 0 1 0 0 0 0 0 0 777
64 0 0 1 0 0 0 0 0 75
0 0 0 1 0 0 0 0

0, 共分散が R でt(35)の 428 行列である．

以上から，Kalman Filter を構成し，時刻 t における人 hi の状態予測分布の平均 ^ hi ;t , 共分散 ^ hi ;tX

PX^ = X + K (Z
hi ;t

hi ;t

hi ;t

hi ;t

0

HX )
hi ;t

(36)

K = P^ HR 0
P^ = (P 0 + H R 0 H)0

(37)
(38)
を得る．Kalman Filter の追跡処理フローを図 15 に示す．ここで，式 (37) は Kalman
Gain であり，状態 X に関する情報の相対的な重みを表す．なお，初期値は X^ =X P^ = P とする．
hi ;t

hi ;t

hi ;t

1

t

T

hi ;t

t

1

1

1

0

hi ;t

0;

0

0

図 15 Kalman Filter フロー24

3.2.3 クラスタ毎の高さ閾値の更新
時刻 t における人クラスタ hi の高さ (Y 座標) 重心 yhi ;t と，3.2.1 節において言及した重み付けをした高さ (Y 座標) 重心 y0 を，3.2.2 節により求めた一期先位
hi ;t置の推定値を用いてクラスタ毎の高さ閾値を更新する．
頭部近辺にある特徴点の値が大きくなるようなフィルターをかけることにより，重み付けをした高さ (Y 座標) 重心 y0 は，座る，倒れる等の姿勢変動が起った

場合により顕著に変化が表れる．y0
dif f

= 0

y h ;t
i

hi ;t

hi ;t

と yhi ;t の差 dif f は

0 yhi ;t =1n

X( 0 1)
n

wj

yi

i=1

(39)

となる．これから 直立状態の場合は di の値が大
 座る，倒れる等の姿勢変動が起った場合は di の値が小さいと言える (p.26 の図 16 参照)．直立状態では，人物輪郭モデルの頭部近辺の特徴
点が多くなるため，dif f の値は大きくなり，座る，倒れる等の状態では頭部近辺の特徴点が少なくなり，dif f の値は小さくなる．図 14(p.22) の頭部近辺の重みをwj= 2 ( = 2 3) とすれば，頭部付近の特徴点だけを求めることができる．すな; j;

わち，dif f の値は頭部付近にある特徴点の平均とみなしてよい．
この dif f の値に着目して，図 12(p.20) の輪郭モデル閾値 T H; T L をクラスタ毎に動的に更新していく．時刻 t における人 hi の重み付け高さ (Y 座標) 重心 y0hi;tと高さ (Y 座標) 重心 yhi;t ，追跡処理において導出した一期先重み付け高さ重心
0 , 高さ重心 yhi;t から人クラスタ毎の高さ閾値を逐次的に更新していく．時yhi;t+1

刻 t における dif ft と時刻 t+1 における dif ft+1 の差分を取ることで，頭部位置の変動量に応じて以下のように閾値を更新する．
T Hhi;t+1=

T Hhi;t+(dif ft+1

0 dif ft)

(40)

T Lhi;t+1=

T Lhi;t+(dif ft+1

0 dif ft )(41)

人 hi の時刻 t における閾値 T Hhi;t ; T Lhi;t に対し，バイアス演算を行うことで時刻 t + 1 の閾値 T Hhi;t+1 ; T Lhi;t+1 を決定する．

25

図 16 姿勢変化に伴う高さ位置の変動

3.2.4 姿勢変化が発生した場合の人検知
hi

3.2.3 節において姿勢変化が発生した場合は，その変動量に応じて人クラスタ
毎に輪郭モデル高さ閾値が更新される．時刻 + 1 における，人 の高さ閾thi

値 T Hhi;t+1 ; T Lhi;t+1 である特徴点群を人物候補とし，これらの特徴点群に対して

式 (14) を適用する．人物候補特徴点群が人クラスタ毎に更新された高さ閾値に応じて決定するので，姿勢変化が発生した場合でも柔軟に対処できる．なお，新規で表れた人 hj に対しての高さ閾値は，本論文では T Hhj;0 = 2:0; T Lhj;0 = 1:0 と

する．

26

3.2.5 本手法の特徴
本手法は，高さ情報を加えた 3 次元追跡モデルにより 3 次元的な動作の追跡を行える．また，追跡した結果を一期先の人検知処理に利用することで，姿勢変化等にも対応したロバストな人検知を行う．以下に本手法の特徴について列挙する．

 特徴{ 色情報を利用せず，3 次元空間情報で人の頭部近辺の高さ座標を導出している{ コンピュータで表現しやすい，線形ダイナミカルシステムを人物追跡に利用している{ 追跡処理により得た推定値を用いて，人クラスタ毎に一期先の人物輪郭モデルの高さ閾値を更新してる{ クラスタ毎に人物輪郭モデルの高さ閾値を更新することで，姿勢変化
起った場合にも対応している 長所{ 輝度情報，色情報を利用していないので，照明変動等の環境変化が起った場合でも安定した頭部近辺位置を導出できる{ 逐次的に検知追跡を行うので，データを全て蓄えておく必要がない{ 人の姿勢変化に対してロバストである

27

4. 実験
この章では，3 章で提案した手法自身の性能を検証すると共に，従来手法（[9])との性能の比較実験を行う．3.2 節にて提案した手法に対する性能検証を中心に行う．

4.1 概要提案手法の性能検証として，複数人が通常歩行を行った場合，人が倒れた場合，および人が飛びはねる動きをした場合における 3 次元的動作の位置追跡精度，および処理時間の検証を行う．ここで位置追跡精度 T R を，
TR

=1

N

Xq
N

n=1

0

1 0

xt+1 xt+1+ 0 10 + 0 10
yt+1 yt+1

zt+1 zt+1

p
0 xt1xt + yt1yt + zt1zt(42)とする．x0t+1 ; yt0+1 ; zt0+1 は時刻 t における一期先の推定量を表す．追跡軌跡は，x; y; z

座標の各重心値の軌跡である．次に，3.1 節で提案した手法の初期パラメータを示す．

5 2 5[pixel]
0.04
抽出特徴点数1000
エッジ抽出用応答関数閾値
-1500000
コーナー 抽出用応答関数閾値
6000000
特徴点間距離323[pixel]
標準偏差0.7[m]
正方形窓サイズ

表 1 特徴点抽出パラメータ
ここで，標準偏差は Gaussian による入力画像平滑化に用いる．

28

3.2 節で提案した手法の初期パラメータは以下の通りである．
高さ閾値 T H
高さ閾値 T L

2.0[m]
1.0[m]

表 2 人検知パラメータ
重み wj は，人物輪郭モデルの初期閾値を 2.0(T H )〜1.75,1.75〜1.5,1.5〜1.25,1.25〜1.0(T L) に 4 分割し，それぞれ w1 = 1:0; w2 = 2:0; w3 = 1:0; w4 = 1:0 として重みを割り当てた．

また，本手法の有効性を確認する意味で，従来手法（[9]) との比較実験を行う．

p12,13 の手法と，追跡精度，処理時間を中心に比較検証する．
4.2 実験環境およびシステム構成

観測空間は屋内空間に限らないが，適当な広さの会議室程度の部屋を想定した．
提案手法では天井等に特別なカメラ等を設置する必要がないので，市販のカメラを使用している．ベース長が B = 20[cm], レンズ焦点距離が f = 4[mm] としている．以下表 4.2 にシステム構成について記す．

1021023[ ][m]
処理エリア42423[m]カメラの数
2台
カメラの高さ
2.8[m]
カメラ解像度10242768
カメラ俯角
50[deg]CPU
Intel Pentium 1.0 GHz
Memory512 MBOS
Windows 2000
観測空間広さm

表 3 実験環境およびシステムのスペック

29

4.3 実験結果

4.3.1 通常歩行時
本実験で使用した通常歩行画像の一部を図 17 に示す．

図 17 通常歩行時の画像

通常歩行時の位置追跡精度および処理時間結果を以下の表 4 に示す．なお，特徴点抽出処理に関しては従来手法においても 3.1 節で言及した手法を用いている．

また，提案手法と従来手法の xy,yz,zx 各平面における追跡軌跡を図 18〜23 に示す．

n

提案手法

従来手法

0.051[m]0.084[m]特徴点抽出処理時間
133 2[msec]
同左
クラスタリング処理時間
52 68[msec]
45.42
追跡処理時間0 680[msec] 3.9832100 [msec]
その他処理 (前処理, 空間座標算出等) 135.0[msec]
同左
位置追跡精度

:::表 4 通常歩行時の位置追跡精度および処理時間303図 18 xz 平面から見た軌跡 (提案手法) 図 19 xz 平面から見た軌跡 (従来手法)

図 20 xy 平面から見た軌跡 (提案手法) 図 21 xy 平面から見た軌跡 (従来手法)

図 22 yz 平面から見た軌跡 (提案手法) 図 23 yz 平面から見た軌跡 (従来手法)

31

4.3.2 ジャンプアップ時
本実験で使用したジャンプアップ画像の一部を図 24 に示す．

図 24 ジャンプ時の画像

ジャンプをしている人の位置追跡精度および処理時間を以下の表 5 に示す．なお，特徴点抽出処理に関しては従来手法においても 3.1 節で言及した手法を用いている．また，提案手法と従来手法の xy,yz,zx 各平面における追跡軌跡を図 25〜

30 に示す．

n

提案手法

従来手法

0.052[m]0.324[m]特徴点抽出処理時間
124 2[msec]
同左
クラスタリング処理時間
43 46[msec]
43.88[msec]
追跡処理時間0 279[msec] 2 4282100 [ ]その他処理 (前処理, 空間座標算出等) 85.66[msec]
同左
位置追跡精度

::::表 5 ジャンプ時の位置追跡精度および処理時間

32

3

msec

図 25 xz 平面から見た軌跡 (提案手法) 図 26 xz 平面から見た軌跡 (従来手法)

図 27 xy 平面から見た軌跡 (提案手法) 図 28 xy 平面から見た軌跡 (従来手法)

図 29 yz 平面から見た軌跡 (提案手法) 図 30 yz 平面から見た軌跡 (従来手法)

33

4.3.3 転倒時
本実験で使用した転倒画像の一部を図 31 に示す．

図 31 転倒時の画像

転倒した人の位置追跡精度および処理時間は以下の表 6 の通りである．なお，

特徴点抽出処理，およびその他処理 (前処理, 空間座標算出等) に関しては従来手法においても 3.1 節で言及した手法を用いている．また，提案手法と従来手法のxy,yz,zx 各平面における追跡軌跡を図 32〜37 に示す．
n

提案手法

従来手法

0.058[m]0.063[m]特徴点抽出処理時間
127 2[msec]
同左
クラスタリング処理時間
44 62[msec]
45.34[msec]
追跡処理時間0 439[msec] 3 2422100 [msec]
その他処理 (前処理, 空間座標算出等) 159.1[msec]
同左
位置追跡精度

::::

表 6 転倒時の位置追跡精度および処理時間34

3図 32 xz 平面から見た軌跡 (提案手法) 図 33 xz 平面から見た軌跡 (従来手法)

図 34 xy 平面から見た軌跡 (提案手法) 図 35 xy 平面から見た軌跡 (従来手法)

図 36 yz 平面から見た軌跡 (提案手法) 図 37 yz 平面から見た軌跡 (従来手法)

35

4.3.4 多人数出現時
本実験で使用した多人数出現画像の一部を図 38 に示す．

図 38 多人数出現画像

多人数出現時の位置追跡精度および処理時間は以下の表 7 の通りである．なお，

特徴点抽出処理，およびその他処理 (前処理, 空間座標算出等) に関しては従来手法においても 3.1 節で言及した手法を用いている．また，提案手法と従来手法のxy,yz,zx 各平面における追跡軌跡を図 39〜44 に示す．
n

提案手法

従来手法

0.020[m]0.079[m]特徴点抽出処理時間
125 6[msec]
同左
クラスタリング処理時間
68 88[msec]
65.34[msec]
追跡処理時間
1 092[msec] 2 6782100 [msec]
その他処理 (前処理, 空間座標算出等) 111.4[msec]
同左
位置追跡精度

::::表 7 多人数出現時の位置追跡精度および処理時間

363図 39 xz 平面から見た軌跡 (提案手法) 図 40 xz 平面から見た軌跡 (従来手法)

図 41 xy 平面から見た軌跡 (提案手法) 図 42 xy 平面から見た軌跡 (従来手法)

図 43 yz 平面から見た軌跡 (提案手法) 図 44 yz 平面から見た軌跡 (従来手法)

37

5. 考察5.1 本手法の性能検証に対する考察

5.1.1 処理時間
特徴点抽出処理に関しては，画像全ピクセルに対して局所相関を取っているので，抽出精度は高いが，他処理部と比較して処理時間が長い．また，クラスタリ
ング部，追跡部に関してはエリア内に現れる人数に依存する．人数が増えた場合，処理時間は線形的に増加して行く．通常歩行および多人数出現時における実験では，同時に 4 人以上の人が現れたため，処理時間が他の姿勢のものに比べて長い．
特徴抽出処理が約 130[msec], 人数に依存するが，エリア内に 3〜5 名程度でクラスタリング処理が約 50[msec], 追跡処理が約 0.7[msec] で，ステレオ対応付けによる 3 次元空間座標算出処理, 画像の読み込み, 表示処理等を含めても 1 フレームの処理に平均 1[sec] 程度有するため，リアルタイム処理は実現できていない．しかしながら，人間の平均的な歩行速度を 4[km/h]
=1.11[m/s] と考えた場合，観測空間が 1021023[m], 処理エリアが 42423[m] であること, および計算機処理速度を考慮すると，オンライン処理として扱うのに十分な結果が得られたと考える．
また本システムの表示機能を OFF にし，人の３ D 位置のデータロガーや人数カ
ウンターとして使用すれば，100〜400[msec] の処理時間で運用可能である．

5.1.2 位置追跡精度
位置追跡精度に関しては，各姿勢において 0.05[m] 程度と良好な結果が得られたと考える．ジャンプや転倒等，高さ (Y 軸) 方向の変動の大きいものに関しては，
人物輪郭モデルを人クラスタ毎に更新して行く処理の性能が発揮されていると考える．Kalman Filter のような線形フィルタでは急な変動が起こった場合追随が難しいが，図 13(p.21) のように追跡結果を検知処理にフィードバックすることにより，高さ (y) 方向に関しては急変動にも対応可能になった．フレームレートを上げることにより，更なる精度向上が見込まれる．

38

5.2 従来手法（[9]) との比較

5.2.1 処理時間
クラスタ移動量追跡を 3 次元追跡処理 (本手法性能検証実験と同様に人クラス

タ重心を追跡) に拡大し，本手法との比較検証実験を行った．処理時間は，クラスタリング処理, および追跡処理ともクラスタ移動量推定手法の方が短い．クラスタリング処理部に関しては，個々の人クラスタに対して，人物輪郭モデル閾値
を動的に更新する処理を追加したためである．現れる人数に依存するが，4〜5 名

程度で 5[msec] 程度本手法の方が処理時間が長い．また，追跡処理部に関しては，
クラスタ移動量推定の場合，重心位置の移動分のバイアス演算であるので高速である．本手法と比較して，102 オーダー処理時間差があるが，処理時間全体に占める割合が極めて小さいので全く差し支えない．なお，特徴抽出部に関しては提案手法を利用したので，当該処理部の処理時間計測は行っていない．5.1 節でも言及したように，本手法はオンライン処理として差し支えないレベルであるので，従来手法と比較しても遜色はないものと考える．

5.2.2 位置追跡精度
本手法と提案手法における大きな違いは，高さ (Y 軸) 方向に変動のある姿勢変化が起きた場合に安定して人を検出し，追跡が行えるかどうかという点である．
xz

平面で見た場合の軌跡 (図 19,26,33 参照) に関しては，提案手法とクラスタ移

動量推定手法で大差はない．しかしながら，高さ (Y 軸) 方向に関しての安定した追随ができていない．これは，人物輪郭モデル閾値を固定にしていることに起因すると考える．
追跡軌跡は提案手法と大きく異なってくる．その理由として，人候補特徴点群
初期値は T L(xf ; yf ; zf )T H; (i = 1; 2; 1 1 1 ; n) であるが，本手法では人クラスタ

毎に高さ閾値 T L; T H を逐次的に更新して行く．高さ (Y 軸) 方向の姿勢変化が起きた場合は高さ閾値 T L; T H の値が小さくなり，人候補となる特徴点群も変化す
る．人特徴点群候補が変化することによって，追跡点 (人クラスタの重心) 座標も変化し，追跡軌跡に変化が出る．

39

6. 結言本研究では，Harris Operator の出力値および，抽出した特徴点間の距離に着目することで，人物輪郭を形成する特徴点を高精度に抽出した．そして，ステレ
オビジョンにより特徴点群の空間情報を導出し，追跡結果を検知処理にフィードバックする人検知を実現することで，姿勢変化に対応したロバストな検知を実現した．また，高さ情報を加えた 3 次元追跡モデルにより，人の 3 次元的な動作追跡を可能とした．提案手法により実現可能となったことを以下に列挙する．

 Harris Operator の応答関数値に着目し，人検知のためのクラスタリングに有効な人輪郭特徴点抽出を実現した

 高さ情報を加えた 3 次元追跡モデルを使い，人の 3 次元的な動きを逐次追跡する手法を実現した

 追跡結果を利用し，人の頭部近辺高さ位置を導出することで，人の姿勢変化に対応した検知を実現した

 カメラ位置に依存しないアルゴリズムで，市販カメラおよびコンピュータ
で処理可能とした
本手法は，オンラインで行える人物検知追跡手法であり，監視システム等へ実用化が可能であると考える．今後は本研究では取り上げなかった，より複雑な挙動（手を回しながら移動，ほふく前進など）についてもさらに評価検証を進める．また応用としては，さらにリアルタイム性を向上させることにより，ロボットの視覚センサ等，様々な画像センサーへの適用が可能であると考える．

40

謝辞
本研究を進めるにあたり，数々の有益なご指導を下さいました情報科学研究科
視覚情報メディア講座 横矢直和教授に厚く御礼を申し上げます．
副指導教官としてご助言下さいました情報科学研究科 像情報処理学講座 千原國宏教授，光センシング講座 緒方司郎教授に感謝の意を表します．
研究の方向性について有益なご指導，ご助言を下さいました光センシング講座
諏訪正樹助教授，オムロン株式会社 來海雅俊主幹研究員および池谷崇氏に深謝致します．
中間発表等において適切なご助言を下さいました情報科学研究科 視覚情報メディア講座 山澤一誠助教授，神原誠之助手，佐藤智和助手に御礼申し上げます．
そして，日頃からお世話になっておりました視覚情報メディア講座 博士後期および前期課程のみなさん，守屋知代秘書，光センシング講座 木田周作氏に心から感謝いたします．

41

参考文献[1] 株式会社富士通ゼネラル. 公開特許公報【侵入者監視装置】. 2003.
[2] 塩昭夫, ジャックスクランスキー. "動画像からの歩行者検出". 情報処理学会,CV 75-5,pp.1-8, 1991.
[3] 藤原秀人, 谷口博康, 黒田伸一. "動き画像を用いたエスカレータ乗客転倒検出手法". 情報処理学会,CV 78-5,pp.33-41, 1992.
[4] 森田俊彦. 局所相関演算による動きの検知と追跡. 電子情報通信学会 (DII),Vol.J84-D-II,no.2,pp.299-309, 2001.
[5] O.Javed, Z.Rasheed, K.Sha que, and M.Shah. "tracking across multiple
cameras with disjoint views". Int'l Conference on Computer Vision,, 2003.
[6] D.Beymer and K.Konolige. Real-Time Tracking of Multiple People Using
Continuous Deteciton. Int'l Conference on Computer Vision, 1999.
[7] オムロン株式会社. 公開特許公報【移動体検出方法及び装置並びに移動体認
識方法及び装置並びに人間検出方法及び装置】. 日本国特許庁, 1999.
[8] Point Grey Research Inc. People tracking system. http://www.ptgrey.com/,
1997.
[9] 池谷崇, 諏訪正樹, 麻生川佳誠, 来海雅俊. 重なりに強いステレオ型人間検知システム. 画像ラボ,VOL.15,No14,pp53-56. 日本工業出版, 2004.
[10] 林健太郎, 橋本学, 鷲見和彦. ステレオ距離画像を用いた人物計数技術の提案. "信学技報 PRMU2002-148,pp.13-18", 2002.
[11] 柴山憲文, 塙圭二, 太田勝. 踏切障害物検知用のステレオ画像装置の開発. 画像センシングシンポジウム 2003,pp.1-6, 2003.
[12] 金澤靖, 金谷健一. コンピュータビジョンのための画像の特徴点抽出. 電子情報通信学会誌,VOL.87,No.12,pp.1043-1048. 2004.
42

[13] 出 口 光 一 郎.
ス テ レ オ の 仕 掛 け を 解 き 明 か す.
誌,VOL.37,No.7,pp.662-670. 1996.

情報処理学会[14] R.Szeliski and G.Hinton. Solving random-dot stereograms using the heatquation. In Proc CVPR,pp.284-288, 1985.
[15] 鳥脇純一郎. 認識工学. コロナ社,pp.76-95, 1993.
[16] 栗原浩次. データとデータ解析. 放送大学教育振興会,pp.130-155, 1996.
[17] 柳熙泛, 宮永喜一. ロバストデータクラスタリングによる画像のセグメンテー
ションについて. 電子情報通信学会 (A),Vol.J86-A,no.7,pp.731-738, 2003.
[18] 森大樹, 内海章, 大谷淳, 谷内田正彦, 中津良平. "非同期多視点画像による人物追跡システムの構築". 電子情報通信学会 (D-II),Vol.J84-D-II,no.1,pp.102110, 2001.
[19] C.Harris and M.Stephens.

A Combined Corner and Edge Detector.
Proc.Alvey Vision Conf.,pp.147-151, 1988.

[20] C.Schmid, R.Mohr, and C.Bauckhage. Comparing and Evaluating Interest
Points. Proc.6th Int'l.Conf.on Computer Vision,pp.230-235, 1998.
[21] 宮脇隆志, 石橋聡, 岸野文郎. 色彩情報を用いたカラー画像の領域分割. 信学
技報,IE89-50, 1989.
[22] Y.Dai and Y.Nakano. Extraction of facial images from complex backgroundusing color information and SGLD matrices. Proc.Int'l Workshop on Automatic Face and Gesture Recognition,pp.238-242, 1995.
[23] 片山徹著. "応用カルマンフィルタ". 朝倉書店,pp.83-132, 2002.
[24] Y.Wu. Visual Tracking. ECE510-Computer Vision Notes Series 7, 2002.
[25] M.Isard and A.Blake. CONDENSATION-conditional density propagationfor visual tracking. Int'l Journal of Computer Vision,29:5-28, 1998.
43