愛知工業大学研究報告
第 43 号 B 平成 20 年

夜間動画像からの道路交通信号認識技術の研究
A Study on Recognition of Traffic Lights from Video Image in Night - time
梅澤登志矢† 江口 一彦††

Toshiya UMEZAWA、 Kazuhiko EGUCHI
Abstract Elder drivers are increasing in Japan in accordance with the progress of graying society. Risk of traffic
accident caused by elder drivers may be higher than younger age drivers. Therefore a system or apparatus tosafely support elder driver are highly expected. This paper proposes a technique to identify traffic lights innight - time on various situations. This approach uses both information of the domain that extracted by a hue
and information of the domain of the emission of light part. Experiment results show a possibility ofincreasing recognition rate and avoiding wrong recognition.

る夜間の交通信号を対象として、動画像からリアルタイム

1. はじめにに交通信号を認識する手法を構築するとともに、発光領域
近年、日本では高齢者が増加している。「平成 19 年度高[1]

齢社会白書」 によると、高齢化は今後も進むものと予想と色の分布の情報を用いることで交通信号以外の発光物の誤検出を減らす手法を提案する。

され、平成 24 年には高齢者の人口は 3000 万人を突破すると推計されている。また、高齢化は過疎地においてさらに

2. 認識手法の手順

深刻で、「平成 18 年度版「過疎対策の現況」について（概要版）」[2]によると、平成 17 年の高齢者比率は、全国の本研究の認識手法の手順を Fig.2.1、2.2 に示す。本研究20.1％に対して、過疎地では 30.2％となっている。さらに、

では、当初 Fig.2.1 の手順で実験を行った。しかし、街灯過疎地では人口が年々減少し、平成 17 年には総人口の 1 割の誤認識や隣接する交通信号を分離できないといった問題に満たない 1、068 万人である。しかし、過疎地の面積は全があった。そこで、夜間の発光物は、ビデオカメラで撮影

国の 54.1％を占めているため、公共交通機関による移動手すると、発光部分が白くなり、その周辺に発光物が持つ色段の確保が難しいと考えられる。従って過疎地では、高齢の光が分布する形になるという特徴を利用し、Fig.2.2 の者であっても自ら自動車を運転せざるを得ない状況になるようにいくつかの処理を追加して改善を試みた。それぞれと予想される。の処理について簡潔に説明する。

高齢になると、反応速度や判断能力が低下し、交通事故の・画像取得
ビデオカメラにより撮影された動画像から、1 枚の画像リスクが高くなる。そのため、自動車における運転支援シを取得する。

ステムの構築は今後必要になると考えられる。
運転支援システムの研究として、車線認識、道路交通標

・HSV(Hue、 Saturation、 Value)変換識の認識、道路交通信号の認識などがある。[3][4][5]この中RGB(Red、 Green、 Blue)色空間で得られた画像を HSV 色

でも、道路交通信号の認識はリアルタイム性が要求され、空間に変換する。

動画像からの認識が不可欠であると考えられるが、他の研・色情報による抽出
HSV 変換した色情報から、交通信号に合致する色相の画究に比べてあまり研究が行われていない。
本研究では、発光物が多く見落としや見間違いが多くな素を抽出する。
・二値化処理色情報による抽出を行った画像を二値化する。

†愛知工業大学 工学研究科電気電子工学専攻 （豊田市）††愛知工業大学 工学部電気学科 （豊田市）

・ラベリング処理二値化した画像に対して、色情報を持つ画素をまとまり- 41 -

愛知工業大学研究報告,第 43 号,平成 20 年,Vol.43,Mar,2008

やかさ、V は明るさを表す。

ごとに別領域として分類する処理を行う。

交通信号には、青、黄、赤の 3 種類の色がある。この中・発光部分抽出
色情報によって得られた領域の中から、彩度、明度によで、黄信号は、赤と緑の混色、青信号は緑と青の混色であって発光部分の画素を抽出する。

ることから、R(赤)、G(緑)、B(青)からなる RGB 表色系では・重心による発光物の向き判定

２つのパラメータを持ちいらなくてはならず、色の指定が夜間の発光物は、発光部分から発光物が向いている向きに光が分布するという特徴があるため、発光部分と光の分難しくなる。そのため、本研究では、H のみで色の種類を判定できる HSV 表色系を用いた。

布の領域の重心を比較することで、発光物の向きを推定し、正面を向いていない発光物を交通信号ではないとして除外

4. 色抽出する。
夜間の交通信号は Fig.4.1 のように、発光部分が白色に・形状判定

なり、交通信号が持つ色がその周りに分布するように撮影

ラベリングされた領域の形状を判定する。

される。また、発光物の中心部分はどのような色の発光物・結果出力であっても同様に中心が白色になるという特徴がある。

画像中の交通信号の位置等を出力する。

画像取得

HSV 変換ラベリング処理

色情報による抽出

形状判定

二値化処理

結果出力

Fig.4.1 夜間の発光物

夜間の発光物を色相の情報によって抽出すると、Fig.4.2のように中が空洞になったドーナツ状の画像が得られる。

Fig.2.1 改良前の手順

画像取得

HSV 変換二値化処理

色情報による抽出

ラベリング処理

二値化処理

Fig.4.2 色相情報によって発光物を抽出した例

重心による本研究では当初、このような画像から形状判定を行い、発光物の向き判定交通信号かどうかを判定する方法を用いた。しかし、このラベリング処理

方法の場合、交通信号が単体である場合は良いが、Fig.4.3
形状判定のように複数の交通信号が隣接していると 2 つの領域が繋発光部分抽出がってしまうため、認識が困難になるという問題が明らか
結果出力になった。

Fig.2.2 改良後の手順

3. HSV 表色系
HSV 表色系とは、H(色相)、S（彩度）、V(明度)からなる色空間のことである。H は赤や青といった色の種類、S は鮮- 42 -Fig.4.3 隣接する交通信号
また、発光部分を先に抽出し、その周りの色相によって

夜間動画像からの道路交通信号認識の研究

交通信号の領域を抽出する方法では、交通信号以外の発光物全てに対して色相の計算をしなければならなくなる。
そのため、本研究では、色相によって交通信号がある領域を限定した後、さらにその領域に対して発光部分の抽出を行うという手法を用いた。
しかし、その方法の場合においても、色相によって抽出した領域内に背後にある発光物が入ってしまう可能性がある。そのため、一つの領域内に複数の発光部分が含まれていた場合、各発光部分の周辺の色相を調べ、交通信号の色相に該当する画素が半分未満の場合は除外するようにした。
本研究で交通信号の色相情報を抽出する際に用いたパラメータの範囲を Table.4.1、4.2 に示す。

Table.4.1 抽出範囲

赤黄
青0<=h<=10 10<h<25 170<=h<=195
S>0.3
V>120

HSV

Fig.5.1 ラベリング処理の手順

Table.4.2 発光部分の抽出範囲

SV

6. 形状判定

0.3<S180>V

通常、交通信号は真円形をしているため、ラベリング処理によって得られた領域に対して形状判定を行う。色相によって抽出した発光物は中が空洞になったドーナツ状の形

これらの範囲に該当する色情報を持つ画素を残し、同時に二値化処理を行う。

状をしているため、内側と外側の 2 つの輪郭線を持つことになる。そのため、本研究では次のような処理を行った。

5. ラベリング処理
HSV 表色系を用いて抽出した画像に対して、ラベリング処理を行う。[6]ラベリング処理とは、その画素がどの領域に属するかという属性を持たせる処理のことである。ラベリング処理の手順は次のようになる。
１）画像左端から水平方向に、黒ではない領域を探索する
２）黒ではない画素が見つかった場合、その色情報を保存する
３）２で見つかった画素と同じ色情報の画素が続く限り同Fig.6.1 形状認識手順

じ領域に含めていく４）１～３を全ての行に対して行う

まず、得られた領域の中心から放射状に外側に向かって５）見つかった領域を水平方向に結合する中心とは違う色情報を持つ画素を探索し、その位置情報をこのとき、動画像から発光物の光を抽出した場合、必ずしも隣接して抽出できるとは限らないため、最大 3 ピクセル分離れた画素も同じ領域に含めるように処理した。

保存する。次に、見つかった画素の位置情報から、(6.1)
式を用いて中心座標と半径を求める。中心座標と半径を(6.2)式の真円の方程式に当てはめ、これを仮の円とする。
こうして求めた円と実際に見つかった画素の座標を比較す- 43 -

愛知工業大学研究報告,第 43 号,平成 20 年,Vol.43,Mar,2008

ることで、円かどうかを判定した。このとき、まず見つか

重心 G=(gx、gy)の計算には、式(7.1)、(7.2)を用いた。

った画素の x 座標を(6.2)式に代入し、その画素の y 座標とngx =∑ xi / n

得られた仮の円の y 座標を比較している。ここで、cx、cy、

(7.1)

i =0

r は仮の円の中心座標と半径、max_x、min_x、max_y、min_yn

gy =∑ yi / nはそれぞれ得られた画素の中での水平座標の最大値、最小値、垂直座標の最大値、最小値である。

(7.2)

i =0

ただし、n は領域の画素数、xi、yi は領域内の任意の画

cx =(max_ y + min_ y )
cy =
2

r=

素の x、y 座標とする。

(max_ x + min_ x)2

交通信号と街灯を見分けるには、色相による抽出領域の重心と、発光部分の領域の重心の垂直方向の差をとり、その差が色相による抽出領域の垂直方向のサイズの 10%以上(6.1)のときに交通信号以外のものとして除外した。この処理は、(max_ x − min_ x) + (max_ y − min_ y )2( x − cx) 2 + ( y − cy) 2 = r 2

一つの領域に対して一つの発光物がある場合のみ行う。

8. 実験方法(6.2)

以上の手法を用いて実験を行った。実験では「2. 認識手

7. 重心による発光物の向き判定法の手順」で述べた 2 つの手法の比較を行う。動画像は、車載カメラから得られる夜間の映像では発光物が多く撮市販のビデオカメラを自動車の助手席に載せ、前方を撮影影される。その発光物の中で多いのが街灯である。街灯のして取得した。その動画像を PC にとりこみ、画像処理ライ中には黄色のものがあり、この街灯と黄色の信号の色が似ブラリ OpenCV[7][8]を用いて画像処理を行った。なお、開ているため、誤認識を避けることが難しい。先に述べたよ発環境は Microsoft Visual Studio 2005 で、使用する言語

うに、夜間の発光物をカメラで撮影した場合、発光部分がは C++である。また、使用した PC は、CPU：PentiumD 2.8GHz

白くなり、その周りに発光物の色の光が分布する。その光

メモリ：1GByte の環境で実験している。実験に用いた動画の分布は、発光物が向いている向きに多く分布する。通常、像の解像度は 720*480pixel で、その中から不要と思われる

交通信号は運転者からみて正面を向いており、街灯は下を下 1/2 と左右それぞれ 1/5 を除いた 432*240pixel を処理の向いている。このことから、発光部分の重心と色を持った対象とした。動画像は 5 種類用意した。便宜上、動画像 A、光の分布の重心を比較することで、発光物の向きを推定し、B、C、D、E と呼ぶことにする。

発光物の中から街灯を除外する手法を用いた。Fig.7.1、7.2に街灯と交通信号の発光部分と色の分布の抽出画像の一例

9. 実験結果を示す。
結果画像中の青枠が交通信号であると認識された領域である。赤枠は形状判定、黄枠は一つの領域から複数の発光物が見つかったときに行う発光部分周辺の色情報判定で除外された領域である。
Fig.7.1 街灯の抽出画像（左から原画像.色相抽出画像.発光部分抽出画像）

Fig.7.2 交通信号の抽出画像（左から原画像.色相抽出画像.発光部分抽出画像）- 44 -

夜間動画像からの道路交通信号認識の研究

動画像 A
フレーム数 59
特徴：発光物が少なく、青信号と街灯が主な発光物となっている。

改良前

改良後
Fig.9.1 動画像 A 認識例

動画像 B
フレーム数 69
特徴：青色の信号が複数あり、街灯が多い。また、高架のコンクリート部分が街灯に照らされて黄色くなっている。

改良前

改良後
Fig.9.2 動画像 B 認識例

動画像 C
フレーム数 79
特徴：黄色の信号が 2 つある。また、黄色の街灯が多く画面全体が黄色っぽくなっている。

改良前

改良後
Fig.9.3 動画像 C 認識例- 45 -

愛知工業大学研究報告,第 43 号,平成 20 年,Vol.43,Mar,2008

動画像 D
フレーム数 108
特徴：赤色の信号が一つある。この前にカメラが動いてしまい、やや左を向いた動画像になってしまっている。

改良前

改良後
Fig.9.4 動画像 D 認識例

動画像 E
フレーム数 156
特徴：時間が経過するにつれ信号の色が青、黄、赤の順に変化する。 後方に店頭の明かりがある。

改良前

改良後

96.6 100.091.8

98.7 100.0 98.2 100.0 99.4

6083.422.8504039383625 223020231410000AA

B

改良前

CDEBC
改良前

D
改良後

E50.040.030.00.0A

B

C

D
改良後

Fig.9.8 1 フレーム当りの処理時間

注：処理範囲に入っていない交通信号は計算に含めていない- 46 -

29.8 32.3
24.7

10.0

改良前

Fig.9.7 誤認識数

38.0

37.2
28.1 31.0
22.720.0

改良後

Fig.9.6 交通信号認識率

54.6
49.3

60.0

52

1フレーム当りの処理時間(ms)

100.0
90.0
80.0
70.0
60.0
50.0
40.0
30.0
20.0
10.0
0.0

誤認識数（個）認識率（％）

Fig.9.5 動画像 E 認識例

E

夜間動画像からの道路交通信号認識の研究

参考文献

10. 結論夜間の交通信号を認識する手法として、色相によって抽[1]総務省：“平成 19 年版高齢社会白書」”、出した領域から発光部分を抽出し、その両情報を用いるこ

URL:http://www8.cao.go.jp/kourei/whitepaper/w-2007/とで認識率、誤認識数の改善ができることを確認した。

gaiyou/html/jg110000.html

しかし、動画像 D、E において認識率が低下していること[2]総務省：“平成 18 年度版「過疎対策の現況」についてと、交通信号の背後にある街灯などの発光物を誤認識して（概要版）”、しまう問題が明らかになった。

URL:http://www.soumu.go.jp/c-gyousei/2001/kaso/pdf/
note18.pdf

11. 今後の課題[3] 田岡 武司、真鍋 真、上林 学、大西 陽介、福井 正
博：“自動車用白線認識アルゴリズムの一実現”、情報処

動画像 D、E における認識率の低下は、交通信号に接近

理学会研究報告、2006 - SLDM – 126、pp.63-67

した際に信号を下から見上げる形になり、信号のかさに当[4] 飯田 泰臣、朝倉 俊行、武山 剛己、広瀬 謙治：たった光によって色の分布が上寄りになり、重心の比較に“運転支援システムにおける視覚認識システムの構築～

よって除外されてしまったことが原因である。これは、街情景動画像からの交通信号認識～”、インテリジェント・灯が通常下を向いていることから、重心が下にずれている

システム・シンポジウム講演論文集、 pp. 187-192

ときのみを除外することで解決できると考えられる。

[5] 石塚 裕、平井 有三：“色情報を用いた実時間道路交

交通信号の背後に発光物がある場合、それが Fig.11

通標識の切り出し”、ITS2002-66、pp. 139-144（左）のように交通信号の色の光に埋もれてしまうと、発[6]井村 誠考：“ラベリング”、光物周辺の色情報によって除外することは難しい。そのた

URLhttp://chihara.naist.jp/people/STAFF/imura/produ

め、発光物の色相情報による抽出を行う際に、明るさの分cts/labeling

布から、光がどの発光物によるものかを判定する、という[7]奈良先端科学技術大学院大学 OpenCV プログラミング

ような処理が必要になる。それでも、Fig.11(右)のように、ブック製作チーム：“OpenCV プログラミングブック”、

人の目で見ても交通信号かどうかを判断しにくい場合が2007.9ある。ただし、そのようになるケースはまれであり、数フ[8]OpenCV リファレンスマニュアル（日本語訳）、レームにわたることはなく、前後フレームで得た領域情報

URL: http://opencv.jp/opencv/document/との比較を行うことで除外できると考えられる。
（受理 平成 20 年 3 月 19 日）

Fig.11 交通信号の背後にある街灯（左）完全に埋もれてしまった例（右）今後は上記の改善に加え、色相等による抽出条件の調整、ラベリング処理の高速化、形状認識の精度向上、昼間の交通信号への対応が挙げられる。

- 47 -