情報通信

環境変化に強い車両追跡手法＊荻内康雄・東久保

栗田多喜夫

政勝・西田健次Vehicle Tracking System Robust to Changes in Environmental Conditions ─ by Yasuo Ogiuchi, Masakatsu
Higashikubo, Kenji Nishida and Takio Kurita ─ Driving Safety Support Systems (DSSS) provide the drivers withvisual information on the surrounding traffic environment to alert the drivers of possible driving-related dangers,
preventing traffic accidents. The image processing sensors installed on the road for the systems need a highreliability in tracking vehicles regardless of the environmental conditions. The authors have developed a tracking
algorithm with high accuracy and stability even in adverse lighting or weather conditions.
This paper outlines the developed algorithm along with the results of public-road testing.
Keywords: DSSS, image sensor, tracking, pixel-pair feature

1.

緒

言

交通事故抑止を目的とした路車協調型安全運転支援シス「平成 30 年を目途に、交通事故死者数 2500 人以下」といテムにおいて、車両の移動速度推定やそれに基づく衝突警う目標の達成には、従来の車両側、路側インフラ側のそれ告のために、検出した車両を正確かつ安定した追跡する必

ぞれでの事故抑止対策だけでは回避できない事故の対策が要がある。筆者らは屋外での環境変化にきわめて強く、か必要であり、路側インフラ装置と車載装置が協調して事故つ追跡対象車両を正確に追跡することが可能な追跡手法をを抑止する「路車協調型安全運転支援システム」（DSSS）開発した。本稿では、開発した追跡手法の概要および車両の実現が求められている。

追跡実験の結果を報告する。

路車協調型安全運転支援システムの実現には、インフラ側の要素技術として、センシング、通信、制御の各種技術

2.

開発の背景と目的
日本国内における交通事故による死者数は、9 年連続で開発が必要であり、特にセンシング技術においては、計測範囲の広さ、製品寿命、コスト、性能のバランスを考慮し、単眼カメラ画像による画像処理方式が最有力である。

減少し、平成 21 年中の交通事故による死者数は 4,914 人

筆者らは画像処理方式による車両検出器を開発しており、。これは各種車載安全装置の普及や事故発生後様々な環境条件の下で車両および二輪車の位置を高精度に検の医療技術の向上に依るところが大きい。また、負傷者数（3）。このような車両検出器と高性出できることを示した（2）、も 100 万人を下回るなど、第 8 次交通安全基本計画の「平能な車両追跡器とを協調動作させることができれば、個々の成 22 年までに死者数 5,500 人以下及び死傷者数 100 万人

車両の正確な移動方向、速度の計測だけでなく、検出器の検以下にする」という数値目標を 2 年前倒しで達成した。こ出ミスの補間など、さらに高度な処理が可能になる。となった（1）の状況を踏まえて、国家公安委員会は引き続き強い決意をしかし、従来提案されてきた追跡アルゴリズムは、照明もって「平成 30 年を目途に、交通事故死者数を半減させ、など環境条件の変化が大きい場合や、追跡対象車両の一部これを 2,500 人以下とし、世界一安全な道路交通の実現をが他の車両によって隠される場合などで性能が低下してし目指す」という交通安全対策の目標に向けて交通事故死者まうことがあるなど、多様な環境条件下で道路上の車両をの更なる減少に取り組んでいる。

安定して追跡するという目的を達成できない。このような事故発生状況を詳細に分析すると、事故の類型別においては、追突、出会い頭及び右折時衝突事故が全体の 6 割以要求を満たすために、車両の外見に基づく新たな追跡手法が必要とされている。

上を占めていることが分かる。次に、原付以上運転者（第本報では、判別能力の高い画素ペア特徴を毎フレーム選択

1 当事者）による交通事故件数を法令違反別にみると、安（5）。画素ペア特徴は、画像中の 2する追跡手法を提案する（4）、全不確認が最も多く、次いで脇見運転、動静不注視の順につの画素間の輝度差によって定義される。これにより、照明多く、安全運転義務違反が全体の約 75 ％を占めている。

条件の変化に対する強い頑健性が期待できる。提案手法は、

このような事故発生状況において、国家公安委員会の−（ 50 ）− 環境変化に強い車両追跡手法

低コントラスト車両に対しても高い追跡性能を示した。

3.

追跡手法の概要

ここで、｛p,q ∈Γ×Γ｝となり、p ＝｛p1, … …, pN｝、q ＝筆者らは追跡課題を追跡対象が中心にある部分画像パッチかどうかという判別問題と解釈することにした。このよ｛q1, … …, qN｝と表される。
ペア特徴によって、I に対する J の類似性を計算する。

うな解釈の下では、追跡対象を求めるためには追跡対象がまず、参照パッチ I 上で有効なペア特徴（p, q）∈ RPs を考中心にある部分画像パッチとそれ以外のパッチとを識別すえる。このとき、対象パッチ J における p と q の輝度の大小る特徴量および識別器を用いればよいことになる。

関係 b（p ≻ q）を次のように表わす。

t 番目のフレームの画像 Vt に対しての車両推定位置（および見えの大きさ）Lt は、t - 1 番目のフレーム画像から与b（pӡq）：＝えられる（最初の推定位置は車両検出器によって与えられ1J p）≥ （J q）（­1otherwiseる）。正例の部分画像パッチ It は Vt から Lt で示される領域（p, q）に対する画像 J の単一ペア類似度 r（p, q, J）を、次を切り出すことで得られ、負例となる部分画像パッチの集のように定義する。

合 J1,....., JF は Lt の周辺から部分画像を切り出すことで得られる。次に、 It と Jt を判別する特徴を抽出し、識別器のr p, q, J ）＝（訓練に代える。最終的に次フレームでの推定位置は、フレーム画像から抽出された部分画像パッチ集合 Vt ＋1 から正1ppf（pӡq）＝b（pӡq）
ppf（pӡq） b（pӡq）­1すなわち、図 1 に示すように参照パッチ I 上で有効な画例 It にもっともよく似た部分画像パッチを見つけることで素ペア特徴を選択する際には輝度差閾値を適用するのに対行われる。

して、対象パッチ J 上で画素ペア特徴を評価する際には輝3−1

本手法では、特徴量として二画素ペア特徴つの画素の輝度差を利用した画素ペア特徴を採用した。画度の大小関係のみを用いる。これによって見えの変化に対する頑健性が確保される。

（6）を拡張したもの
素ペア特徴は、統計的リーチ特徴（SRF）

で、統計的リーチ特徴からペア間の距離の制約をなくした参照パッチ Iものである。

対象パッチ J

画素ペア特徴に基づく、参照パッチ I に対する対象パッ
チ J の類似性インデックス c（I, J）は以下のように定義される。ここで、入力画像のサイズを W × H とした時、ΓはW × H 内の座標を示すとする。
｜i ＝ 1, …, W, j ＝ 1, …, H｝
Γ：＝｛（i, j）
サイズ W × H の画像がΓ上の輝度情報として表現される
時、Γ中の任意の画素ペア（ p, q）に対するペア特徴値は、以下のように定義される。
1I p）­（I q）≥ Tp（øotherwiseppf（p ӡ q ; Tp）：＝ ­1­I（q）≥ Tp
1：I（ p）

1：J（p）≥ J（q）

­1：I（ p）
­I（q）≤ ­Tp­1：J（p）< J（q）

図1

画素ペア特徴の説明I p）­（
I q）≤ ­Tp
（画素ペア特徴のセット RPs によって計算される、I に対す

ここで Tp（＞ 0）は、輝度差に対する閾値である。

s I, J, RP s ）は、単一ペア類似
る J の類似度インデックス c（

パッチ I 上の画素ペア（ p, q ）が ppf（ p ≻ q;T p ）≠ Φなる条度を用いて以下のように定義される。

件を満たす時、（p, q ）を「I 上で有効なペア特徴」と呼ぶ。
以後、特に示さない限り、 ppf（ p ≻ q;T p ）は ppf（ p ≻ q ）と表記する。

p と q の選択に特に制限を設けない場合、有効なペア特c（＝s I, J, RPs）
3−2

r p, q, J ）∑ p, q RP （（）

s｜RPs｜

判別的画素ペア特徴選択

正例の部分画像 I と徴の数は非常に大きなものとなる。そこで抽出するペア特負例の部分画像群 J 間の判別基準を最大化するように画素徴の数を N で制限することとした。ペア特徴選択の基準をs で表した場合、ランダムに選択したペア特徴セット RPsペア特徴の選択を行う。

は以下のように定義される。

化する必要がある。

我々の課題設定により、以下の条件下で判別基準を最大◆特徴は二値＋v、− v を示す

RP（s p,q,I,T p ,N ）：＝｛（p,q）｜ppf（p ≻ q）≠Φ｝◆正例は 1 個のみ◆負例は数多く与えられる

2 0 1 0 年 7 月・ S E I テ クニ カ ル レ ビ ュ ー ・ 第 1 7 7 号 −（ 51 ）−正例の特徴値 p、負例の特徴値 ni は以下のように定義される。

素ペア特徴をランダムに生成し、類似度 cs が小さいものかF
p＝v,｛ni｝＝v, ­ v
1＿判別的画素ペア特徴の選択手法の具体的な実装はいくつか考えられるが、本実験では必要とされるよりも多くの画ら必要個数採用するという手法を採用した。

ここで F ≫ 1 を仮定すると、全サンプルの特徴値の平均­µr は、負例の特徴値の平均 µn によって近似できる。したがって、m を負例のうち、特徴値が ni ＝− v となる（正例とは異なる値を持つ）ものの数とすると、全サンプルでの画素ペア特徴の平均値は以下のようになる。
µT ≈ µn＝＝＝

本節では、実際の道路上での画像を用いた車両追跡実験の実験結果を示す。実験では追跡開始時に追跡対象車両に両から外れてしまい、追跡失敗となる時点まで追跡を行っF­m1 m∑（­v）＋∑v ）F（ 11た。実験結果を従来のアルゴリズムによる追跡結果と比較1v（F­2m）
Fするため、判別的画素ペア特徴による追跡手法（ペア特徴追跡）と、部分画像の累積二乗誤差による追跡手法（SSD

ス間分散σ は以下のように示される。
σ2T ＝F122＋∑（ni­µT）（v­µT）｝
F＋1 ｛1≈F
122（v­µn）＋∑（ni­µn）｛｝
F＋11＝験が画像外に抜ける直前、または追跡枠が完全に追跡対象車

2B≈実

対する追跡枠を人手によって指定し、その後追跡対象車両

1 F i∑nF 1

また、同じ仮定の下で、全サンプルの分散σ2T およびクラσ2B ＝

4.

1F22（v­µT）＋（µn­µT）
F＋1F＋11F
22（v­µn）＋（µn­µn）
F＋1F＋1

追跡）での比較を行った。
4−1

照明条件変化での評価

図 2 に追跡対象車両の照明条件が変化した場合の結果を示す。追跡対象は左車線の乗用車である。道路上の日陰の部分から日向の部分に出る際に照明条件が変化するため、対象車両の見えが変化する。
左端の画像における追跡対象のサイズは 100 × 100 画素である。SSD 追跡は追跡対象領域の全画素を使用するため、10,000 画素を特徴として全フレームでの正例との類似性を評価する。これに対して、ペア特徴追跡はそれよりもはるかに少ない特徴で同等の追跡性能を得ている。

12（v­µT）
F＋1

この式は、負例の分散を最小化することと判別基準を最大化することが等価であることを示している。負例の分散
1は、µ ＝ N（F − 2m）v と代入することで、以下のように書き換えられる。
FA: Result of DPF Tracker
mF­m11∑（ni­µn）2＝∑（­v­µn）2＋∑（v­µn）214v2m（F­m）＝F

負例の分散は、m ＝0 と m ＝ F で、最小値 0 となる。m ＝0 は、全ての負例が正例と同じ値をとることを示すので、判別は不可能となる。 m ＝ F で判別基準は最大化され 1 と

B: Result of SSD Tracker

図2なる。この時、正例と負例の類似度は最小値 0 となる。

照明条件変化に対する追跡結果
上が DPF 追跡、下が SSD 追跡の結果（以下同様）

s I, J, RPs）
したがって、画素ペア特徴の単一ペア類似度 c（を最小化することは、判別基準を最大化させることと等価であり、また、同時に以下に示す特徴セット全体での類似度インデックスの総和 Cmin を最小化することとも等価である。
F4−2

部分隠れ

図 3 は部分的隠れが生じた場合の実験結果である。追跡対象は右車線のトラックである。追跡中に中央車線を走るトラックによって部分的な隠れが生

Cmin＝∑｛cmin（I, J , RPmin）｝じる。

ここで、Cmin と cmin、RPmin は、単一ペア類似度を最小化傾向が見られ、ペア特徴追跡では、追跡対象の大きさに対ii＝1するような特徴ペアを選択することを示す。

−（ 52 ）− 環境変化に強い車両追跡手法

SSD 追跡では追跡領域が対象よりも小さくなってしまうして誤差が小さくなっている。

A: Result of DPF Tracker

A: Result of DPF Tracker

B: Result of SSD Tracker

B: Result of SSD Tracker

図3

4−3

夜

部分的な隠れが生じる場合の追跡結果

間

図5

低コントラストな見えの車両に対する追跡結果

図 4 は夜間で周辺に他車が存在する状

況での追跡結果を示す。追跡対象は中央車線から右車線に車線変更するトラックである。この実験では人手により設定した追跡正解に対する誤差を評価した。

初期対象領域が他車の一部を背景に含んでいるため、SSD 追跡は背景画像の影響を受け、追跡には失敗しないものの追跡対象領域が追跡正解よりも大きくなりすぎている。

図6

一方、ペア特徴追跡は追跡領域が追跡正解よりも大きくは追跡対象車両周辺の拡大図
左が DPF 追跡、右が SSD 追跡の結果なっているが、SSD 追跡よりも誤差が小さくなっている。の変化に対する頑健性を考慮して特徴セットを毎フレーム更新した。
しかし、車両上の画素から抽出されるペア特徴と背景部分の画素から抽出されるペア特徴のバランスによっては、位置誤差が大きくなることもある。そこで、前フレームで

A: Result of DPF Tracker

使用された画素ペアのうち、現在のフレームでも正例と負例に対する判別性の高い画素ペアを継続して使用する（以下、「ペア特徴の再利用」と呼ぶ）ことにより、位置誤差を小さくすることが可能であると考え、ペア特徴を毎フ

B: Result of SSD Tracker

図4

夜間、他車が多く存在する場合の追跡結果レーム更新した場合の追跡結果と比較した。
図 7 に特徴を毎フレーム更新した場合と、ペア特徴の再利用を行った場合との追跡結果を示す。追跡対象は、向
かって右側から 2 番目の車線の黒い乗用車である。
4−4

低コントラスト車両

図 5 は低コントラスト車

ペア特徴を毎フレーム更新する場合追跡枠が追跡対象車両に対する追跡結果である。追跡対象は右車線の黒い乗用両に対してずれていくのに対し、ペア特徴を再利用すれば車である。路面に対するコントラストが低く、さらに街路追跡の誤差が小さくなる。

樹による道路上の木葉影によって車両がきわめて見えにく

また、複数回にわたり続けて再利用されるペア特徴は、環境条件の変化によらず追跡対象をうまく表現するモデルくなっている。
ペア特徴追跡では追跡に成功しているが、SSD 追跡ではと考えることができる。このため、ペア特徴選択において早い段階で追跡枠が追跡対象車両に追随しなくなり、追跡ペア特徴が再利用される回数の情報を利用することで、追に完全に失敗する。

跡の安定性と頑健性を向上することができる。

図 6 は図 5 の車両付近を拡大したものである。SSD 追跡は

4−6

車両検出との協調動作

本稿で報告した実験

背景画像に含まれる高コントラストな部分の影響により低コでは追跡の初期位置は人手により設定したが、以前筆者らントラストな車両を見失っているが、ペア特徴追跡は背景画が開発した車両検出手法による検出結果を初期位置にして像に対する頑健性を持っていることを示している。

も同程度の精度で追跡できることが確認されており、車両

4−5

ペア特徴の再利用

本実験では、車両の見え検出と車両追跡の協調動作が可能であることが示された（7）。

2 0 1 0 年 7 月・ S E I テ クニ カ ル レ ビ ュ ー ・ 第 1 7 7 号 −（ 53 ）−

5.

結言

照明の変化、部分的な隠れ、低コントラストなど、従来追跡が困難とされてきた条件でも、安定して対象を追跡することのできる追跡手法を開発した。また、この追跡手法と過去に開発した検出手法を協調動作させることにより、検出時点での検出漏れ、誤検出などが補正できることも明らかにした。
今後は提案手法の事故抑止への応用が期待される。

参考

文

献

（1）警察庁交通局、「平成 21 年中の交通事故の発生状況」（2010）（2）東久保政勝、栗田多喜夫、「路車協調用画像センサの開発」、SEI テク
ニカルレビュー、第 175 号、pp. 108-113（2009）

図7

有効な特徴の再利用の効果
上は毎フレーム更新、下はペア特徴を再利用（3）東久保政勝、Epifanio Bagarinao、栗田多喜夫、「路車協調用画像センサの開発 -未知シーンへの対応-」、SEI テクニカルレビュー、第 176号、pp. 57-62（2010）（4）西田健次、栗田多喜夫、東久保政勝、「判別的なペア特徴選択によるトラッキング手法」、電子情報通信学会技術研究報告、vol. 109、no.
344、PRMU2009-152、pp. 77-82（2009）（5）Kenji Nishida, Takio Kurita, Masakatsu Higashikubo,“ Online
Selection of Discriminative Pixel-Pair Feature for Tracking”, in Proc.
SPPRA2010（2010）（6）岩田健司、佐藤雄隆、尾崎竜史、坂上勝彦、「統計的リーチ特徴法によるロバスト背景差分」、電子情報通信学会技術研究報告、vol. 108、no. 263、PRMU2008-105、pp. 97-102（2008）（7）東久保政勝、荻内康雄、小野佑樹、栗田多喜夫、西田健次、稲吉宏明、
荒田礼治、「SVM による検出とペア特徴追跡の組み合わせによる車両・二輪車計測」、第 16 回画像センシングシンポジウム（SSII2010）
講演論文集（2010）

執図8

検出と追跡の組み合わせ実験の結果の一例
各車両の左下の数字は、追跡対象に固有の ID 番号

また、ある時刻のフレームでの車両検出結果と、前時刻のフレームからの車両追跡結果とを比較することにより、検出漏れ、誤検出、検出位置ずれなどの補正を行うことができた。図 8 に検出と追跡の組み合わせ実験の結果の一例を示す。

また、この補正処理で検出された検出漏れや誤検出などの情報を、車両検出で用いる識別器の追加訓練のためのデータとして利用することも可能であり、インクリメンタ
ル SVM（3）などの手法と組み合わせた識別器の自動訓練などへの利用が期待される。

−（ 54 ）− 環境変化に強い車両追跡手法

筆荻内者 ----------------------------------------------------------------------------------------------------------------康 雄＊：情報通信研究所 ICT 応用研究部
主査 博士（工学）
道路交通用画像センサを中心に画像認識関連の研究開発に従事

東 久 保 政 勝 ：情報通信研究所
西田ICT 応用研究部

健 次 ：（独）産業技術総合研究所

栗 田 多 喜 夫 ：広島大学教授

グループ長

博士（工学）

博士（工学）------------------------------------------------------------------------------------------------------------------------------------＊主執筆者