広島工業大学紀要研究編
第 43 巻（2009）pp.317-322

論文

単眼車載カメラ画像を利用した自動車運転支援五十部

宏幸＊・中村靖＊＊（平成 20 年 10 月 30 日受理）

Driving Support System Using In-Vehicle Monocular Camera
and Image Processing
Hiroyuki ISOBE and Yasushi NAKAMURA（Received Oct. 30, 2008）

Abstract
In recent years, an in-vehicle camera is spreading as a drive-recorder. We expect
the development of the driving support system for the car, which combines an invehicle camera with image processing technology. In this paper, we described a few
key algorithms for driving support system. Mainly, we proposed three methods asfollows.
① Detection of lane lines using Hough transform, and generation of search area forcar ahead based on lane lines.
② Detection of car ahead using symmetry of car shape.
③ Measurement of the distance between cars using the object which size is known
beforehand like a number plate.
We clarified experimentally the usefulness of the proposed methods. These methods
can be expected as an additional function to an in-vehicle monocular camera.

KeyWords: driving support system, image processing, monocular camera

ミリ波レーダーやレーザレーダー，ステレオカメラを利用

1．はじめにするものがあるが，以下に示すようないくつかの問題点を近年，カメラの小型化・低価格化に伴いドライブレコー有している。

ダー等の目的で車載カメラが普及しつつあり，車載カメラミリ波レーダーあるいはレーザレーダーを利用する方法と画像認識技術を組み合わせた自動車の安全運転支援シス

は，カメラ以外の設備を必要とする上に，視野角が狭いこテムの開発が望まれている。とや走行レーンの把握に必要な道路白線が検出できないな

道路を走行する自動車にとって，最大の障害物は周辺をどの欠点がある 2，3）。ステレオカメラを利用する方法 2 〜 5）

走る他の自動車である。自動車の運転支援において，周辺は 2 台のカメラを必要とするが，ドライブレコーダーの目車両の検知と車間距離の測定は最も重要な項目のひとつで的で設備されるカメラは，コスト制約からほとんどの場合

1）ある 。これを実現するための従来の方式には，主として* 広島工業大学大学院環境学研究科地域環境科学専攻** 広島工業大学情報学部情報工学科―317―

1 台である。また，車内ではカメラの間隔は大きく取れな五十部宏幸・中村靖

いため遠距離の測定精度には限界があり，カメラキャリブさらに，図 1（b）に示すように x - y 平面上で同一の直線レーション精度の維持など使用面での難しさの問題もある。

上にある点を i - t 平面に変換すると，すべて同一の共有

そこで，本論文では，道路白線検出やコスト面で有利な点をもつ正弦曲線になるという性質があるため，多数の正単眼カメラを利用した運転支援方式について述べる。主と弦曲線が通る点（ i 0 ， t 0 ）を求めることで， x - y 平面上して，以下の 3 つの項目を提案する。の直線を検出することができる。この方法は，ある程度同一直線上に乗った点があれば i - t平面上でピークを形成す① ハフ変換を利用した道路白線の検出とそれを基にしるので，線が途切れていても検出できるという利点がある。

た前方車両の探索領域生成

2.2② 自動車の左右対称性に着目した前方車両検出

ハフ変換による道路白線の検出

一般に，道路白線には白色と黄色の 2 種類があり，双方③ 大きさが既知であるオブジェクトに着目した単眼カが安定して検出できるように，対象画像を RGB 空間からメラによる車間距離測定

HSV 空間に変換し，G 成分と S 成分を加え合わせた画像

2．道路白線検出と前方車両の探索領域生成を基に道路白線候補領域を抽出する。

本方式で追求するような運転支援方式は高精細な画像を道路白線検出のための 2 値化処理は，可変閾値法を用い使用する必要があり，処理時間を短縮するために前方車両るのが一般的であるが，この方法ではコントラストが低下の探索範囲を効率的に絞り込むことが重要となる。そこで，した白線の検出が困難であることや，ハフ変換の前処理と前方車両の探索領域の矩形を道路白線に沿って，徐々に拡して細線化を行わなければならないなどの問題がある。そ大させていく方式を提案する。また，道路白線の検出にはこで，本研究では対象画像の下半分の領域に対して，水平ハフ変換を利用した。

方向 1 次微分処理（Sobel フィルタ）を行い，道路白線の2.1ハフ変換の原理6）エッジを検出することとした。道路白線検出例を図 2 に示

人工の物体は，直線や円など幾何学的に規則的な形状をす。微分処理で得られたエッジ画像に対して 2 値化処理をしたものから構成されていることが多い。ハフ変換は，こ行い，道路白線のエッジが現れた画像を図 2（b）に，そののような幾何学的形状の規則性を利用して線を発見する方2 値画像に対してハフ変換を行い，近似直線を求めた例を法である。

図 2（c）に示す。

図 1（a）に示すように，直線はそれに直交する線と x 軸の次に，図 2（ c）のような多数求まる近似直線を左右一本なす角度 i と原点からの距離 t によって表現できる。 x - yずつの有効道路白線に絞り込む処理を行う。まず，ハフ変平面上の点（ x i ， y i ）は i - t平面上では式（1）のような正換によって求められた角度 i 0 （図 1（b）参照）に対して制弦曲線に変換される。

限範囲を与え，明らかに道路白線とはいえない線（水平なt = x i cos i + y i + sin i ・・・（1）線など）は除外する。さらに，画像の下辺中央（図 2（c）の点 O）を原点とし，この原点に距離が最も短い線を有効道路白線（図 2（d））として検出するアルゴリズムとした。

（a） x - y 平面（a）原画像（b） i - t平面
図 1 ハフ変換の原理（b）白線のエッジ検出（c）ハフ変換結果（d）有効道路白線の検出
図 2 道路白線の検出―318―

単眼車載カメラ画像を利用した自動車運転支援

2.3

道路白線を基にした車両探索領域の生成

前述した方式で左右一本ずつの道路白線を検出すれば，3．前方車両の検出

その交点を車の消失点とみなすことができる。この消失点前方車両の探索領域を生成した後は，車両の検出処理をを起点とし，道路白線に沿って前方車両の探索領域を生成行う。先行研究の車両検出方式として，テールランプに着する。

目する方法がある 7）。この方法は，自動車の背面にはテーまず，消失点から小さい探索矩形を発生させ，前方車両ルランプの赤色領域が左右対称に存在するという顕著な特が検出されるまで徐々に矩形を拡大させていく。このとき，徴を基にしている。テールランプが常時点灯する夜間には探索矩形が大きくなるほど画像データのサンプリングピッ有効であるが，昼間などテールランプを点灯させない時間

チを粗くし，探索処理データ数の拡大を抑えるとともにノ帯では，この方式が想定する赤色領域が検出できない場合イズの除去を図る。この探索領域生成の概念図を図 3 に示す。

がある。そこで，本研究では前方車両のエッジを抽出し，エッジの左右対称性を手がかりとした前方車両の検出を検討した。
3.1

前方車両の検知領域生成

生成した探索領域内で，動的閾値法による 2 値化処理を行ったとき，図 5（b）のような水平エッジが検出されると前方車両が存在する可能性が高い。この水平エッジを手がかりとして，その長さを基に図 6 の青枠のような前方車両の検知領域を生成する。水平エッジは，道路上の影や路面標識に対しても現れるが，以下で述べる方法で車両とそれぞれの区別が可能である。

検索領域を徐々に拡大させる
図32.4

前方車両の探索領域生成

道路白線検出不可時の探索領域生成

道路白線が検出できない場合は以下で述べる方式で車両探索領域を生成する。図 4 に示す点 A が車の消失点となるように車載カメラを設置し，固定するものとする。点（a）原画像（探索領域生成後）

A と点 B および点 C を通る直線を仮想道路白線として生成するが，点 B と点 C は使用するカメラの特性によって位置が異なる。そこで，実在する道路白線からあらかじめ点 B と点 C を求めておき，走行レーンを三角形 ABC として前方車両の探索矩形を生成する方式とした。

この領域を検出する（b）動的閾値法による 2 値化処理
図 5 車両の水平エッジ検出

点 A（消失点）

3.2

左右対称性に着目した車両検出

本方式で行う前方車両の検出は形状モデルベースパター
ンマッチング 7 〜 9）を用いる。
生成した車両検知領域（図 6 の青枠）の左半分は車両の形状モデルテンプレートを作成する領域とし，右半分はテンプレートマッチングを行う領域とする。さらに矩形を横方向に 6 等分し，左端から 6 分の 1 の領域（図 6 の黄枠）
点B
図4点Cを切り取る。この切り取った領域を左右反転させ，車両の道路白線検出不可時の消失点と走行レーン左端部分のエッジテンプレートを作成した。このとき，あ―319―

五十部宏幸・中村靖

る一定以上の縦エッジが検出されるときにのみ次の処理を検出した長方形が NP かどうかは文字の有無で判断するこ行う。作成したテンプレートを基にパターンマッチングをとができ，さらに中型 NP か大型 NP の判別を行う際にも行い，車両検知領域内で合致率を調べた。合致率が所定の文字の検出は必要となる 7）。

値以上の領域（図 6 の赤枠）があれば左右対称なオブジェ

4.1

ナンバープレート文字の検出

本方式の NP 文字の検出には，形状モデルベースパター

クトであるから車両と判定し，ない場合は車両と判定しなンマッチングを適用した 7，8）。

いアルゴリズムとした。

まず，基準となる NP 画像（NP 面の垂直方向から撮影

この車両検出方式はテールランプの色に依存しないたした画像）から大数字の 0 〜 9 の形状モデルテンプレート

め，より一般性のある方式であるといえる。

を作成した。さらに，このテンプレートの大きさを変化④検出（0.2 倍〜 2.4 倍）させたものも作成し，大きさが変化する対象オブジェクトも検出可能にした。このテンプレートを用いて対象画像でテンプレートマッチングを実行し，画像上から所定の合致率以上のオブジェクトを大数字として検出する。図 7 にこの方式での形状モデルテンプレートと文字検出例を示す。

③パターンマッチング①左右反転②形状モデルテンプレート作成
テンプレート
図7
図6

エッジの左右対称性に着目した車両検出

4.2

形状モデルテンプレートと文字検出例

文字検出精度の評価

図 8 のように，NP 面の長手方向に X 軸，短手方向に Y

4．ナンバープレート領域および文字の検出軸，垂直方向に Z 軸を考える。

本方式では，ナンバープレート（以下「NP」と表記）前方を走行しているあるいは NP 文字のように大きさや形状が既知である物体

自動車を車載カメラでを基に車間距離測定を行う。

撮影すると，NP は X，NP 領域は，NP 特有の色や NP のエッジを基に検出す

Y，Z 軸まわりに回転7）ることができる 。しかし，車間距離測定を行う際，装飾が生じている。形状モ枠や影の影響で正確に NP 領域を検出できない場合が考えデルベースパターンマられる。そこで，NP 文字の大きさを基に距離測定を行う

ッチングにより，このことで比較的精度の良い車間距離測定が期待できる。また，ような回転が生じているオブジェクトを認識するために

図9

図8

ナンバープレートの回転

XYZ 軸方向の回転による合致率の推移（縦軸：合致率，横軸：角度）―320―単眼車載カメラ画像を利用した自動車運転支援

は，テンプレートを適宜回転させながらマッチングを行う
が，回転ピッチを小さくすると計算処理時間が非常に長くなる。回転ピッチをできるだけ大きく取るためには，回転に伴う文字検出性能（合致率の推移）を知る必要があるた
め以下のような実験を行った。
実験方法は，まず回転のない NP を撮影した画像を基準画像とし，基準の形状モデルテンプレートを作成する。次に X 軸，Y 軸，Z 軸を回転軸として a 度ずつ回転した画像
図 11をシミュレーションで作成し，基準テンプレートとの合致率を求めた。本実験で使用した文字のピクセル数は縦 34，横 17（ 1 のみ 5）であった。この実験結果を図 9 に示す。

ピンホールカメラ系における距離測定の原理

図 11 より， L 1 を基準距離としたとき，NP の周囲長に着目した場合の距離 L 2 は次式で求めることができる。

L 2 = L 1 # (h1 /h2 )・・・（2）

合致率 80%以上を NP 文字として検出するとすれば，図9 より X 軸に対しては 35 度以内，Y 軸では 25 度以内，Zまた，NP の面積に着目する場合は，対象オブジェクト軸では 7 度以内の回転であれば，テンプレートを回転させが二次元になるため，距離を求める式は以下のようになる。

L 2 = L 1 # S 1 /S 2 ・・・（3）ることなく対応できることがわかった。また，NP とカメラの距離が離れるにつれ，画像上の文字の大きさは小さくなり，NP の回転の影響は受けにくくなると考えられる。

5.2

車間距離測定精度の評価

本方式による車間距離測定精度の評価実験を行った。デ
ジタルカメラの静止画撮影モード（画像サイズ 1600 ×5．車間距離測定1200）を利用し，距離 2m 〜 30m を 1m ごとに実測して自動車の NP は，サイズや文字の形状および配色につい10）画像データを取得した。距離測定方法として，NP の周囲。図 10 に示すように，サイズの規長，面積を基にする 2 つの方法を検討した。図 12 に，基格として「中型」と「大型」の 2 種類があり，いずれも縦準距離を 15m とした場合の実距離と測定距離の誤差（%）

横比は 1 ： 2 である。本方式では，このように大きさが既を示す。て明確な規格がある知である NP または NP 文字の画像上の大きさから，車間距離の測定を行う。

図 10

自動車ナンバープレートの規格サイズ
図 125.1

距離測定の実験結果

車間距離測定の原理

一般に，車載カメラはピンホールカメラ系とみなすこと

NP の周囲長に着目した場合の平均%誤差は 7.9%，面積ができ，ピンホールカメラ系では画像上のオブジェクトサに着目した場合は 5.1%となった。また，NP 文字の大きさイズと実距離は反比例の関係にある。本研究ではこの性質に着目する場合は，二次元的なテンプレートマッチングにを利用し，大きさが既知である NP の周囲長や面積，文字より検出されるため，測定精度は NP の面積に着目する場の画像上の大きさを検出して，その値を基に車間距離を計合に準ずると考えられる。

算する方法を検討した。図 11 にピンホールカメラ系にお5.3

ける距離測定の原理を示す。

測定距離の補正

本方式による車間距離測定は，基準距離以下は%誤差がマイナスに，基準距離以上はプラスになり，基準距離から離れるにつれ誤差が大きくなる傾向にあることがわかった。この傾向は，使用する光学系が決まれば固定されるた―321―

五十部宏幸・中村靖

め，補正係数を乗算して誤差を小さくすることが考えられ両を真後ろから捉えられない場合（カーブなど）では，車る。図 12 の誤差折れ線グラフの近似曲線から補正係数を両のエッジが左右対称に検出できないなどの問題もある。

求めた。この補正係数を考慮し，他の画像で実験を行うと大きさが既知であるオブジェクトに着目した車間距離測

NP の周囲長に着目した場合の平均%誤差は 3.2%，面積で定では，NP 文字の大きさを基にするときは信頼性の高いは 1.6%となった。

測定が可能である反面，距離が大きくなると画像上の NP文字は非常に小さくなり検出が困難となる。よって，前方6．実画像による検証

車両との距離が遠くにある場合は NP の外形，文字が検出

自動車走行中に単眼車載カメラにより得られた動画像をできる場合は文字の大きさを基にした車間距離測定を行う用いて，これまでに述べた処理が実画像上で可能であるか方法が現実的である。また，NP 文字を基にした車間距離検証実験を行った。画像データの取得はデジタルカメラの測定が成功した場合，同時にそのときの車幅も検出し，こ動画モード（毎秒 15 フレーム，1024 × 768pix）を利用しれを基準として車幅を追随していくことでより遠方の車間た。

距離測定が可能になると考えられる。

動画像上で道路白線と前方車両を検出し，NP の画像上近年ではドライブレコーダー等の目的で単眼の車載カメの大きさから車間距離を測定して表示している例を図 13

ラが普及しつつあり，その効果として交通事故の削減や事に示す。また，動画像上においては，一度 NP が検出され故処理の効率化につながると報告されている 11）。このよ

れば，次のフレームでの NP 探索範囲は前フレームで NP

うなカメラの付加機能として，本論文が提案する方式は有を検出した位置周辺に絞り込み，毎フレームの車間距離測効であるといえる。

定をスムーズに行える方式とした。

文献01）赤松幹之：運転中に何を見て，何を認知しているのか，
映像情報メディア学会誌 Vol.61，pp1682-1688（2007）02）木村好克他：安全のための画像センサ技術，映像情報
メディア学会誌 Vol.61，pp1697-1700（2007）03）實吉敬二：ステレオカメラによる前方監視システム，
画像ラボ（6 月号），pp21-26 （2006）04）中井宏章・前田賢一：危険を察知する車載画像処理技
術，IPSJ Magazine Vol48，pp3-9（2007）05）下村倫子他：ステレオ視差と先行車の高さ変化を用いた車間距離計測のばらつき低減に関する考察，信学技
報 PRMU98-95，pp21-28（1998）06）白井良明・谷内正彦：パターン情報処理，pp57-58，
図 13

動画像上での実験画像

オーム社（1998）07）五十部宏幸他：ナンバープレートの大きさに着目した

7．まとめ

単眼車載カメラによる自動車車間距離測定，広島工業

本研究では，道路白線に基づく前方車両の探索領域生成

大学紀要

研究編

第 42 巻，pp255-260（2008）と前方車両の検出，および自動車のナンバープレート

08）五十部宏幸他：道路白線に基づく前方車両検出と単眼（NP）や NP 文字の画像上の大きさを基に車間距離を自動車載カメラによる車間距離測定，第 14 回画像センシ測定する方法を検討した。また，提案した方式に必要な画

ングシンポジウム予稿集，IN2-08（2008）

像処理アルゴリズムを明らかにすると共に，実画像より原09）株式会社リンクス画像システム事業部： HALCON 活

理的な可能性を検証した。

用法，pp135-146，株式会社リンクス出版事業部 （2004）

道路白線に基づく前方車両の探索領域生成については，

10）web サイト，ナンバープレートの雑学

種々の道路白線画像に対して，本方式による道路白線検出

http://www9.plala.or.jp/hiyotrio/newpage012.htmと車両探索領域生成の有効性を確認した。

11）国土交通省：映像記録型ドライブレコーダーの搭載効

自動車の左右対称性に着目した前方車両検出については，種々の車両に対して有効であることを確認したが，前方車果に関する平成 18 年度調査結果について
http://www.mlit.go.jp/kisha/kisha07/09/090518̲.html―322―