自 動 車

ハイブリッド画像センサの開発

齋藤裕＊昭 ・畑中健一・早崎俊克Development of Hybrid Image Sensor for Pedestrian Detection ─ by Hiroaki Saito, Kenichi Hatanaka andToshikatsu Hayasaki ─ To reduce traffic accidents and serious injuries at intersections, the development ofcooperative driving support systems and related sensors has been promoted. Along with this movement, the authors
have developed a “hybrid image sensor” that consists of visible-ray cameras and far-infrared-ray (FIR) cameras tocompensate each other. The images taken by these cameras are processed simultaneously, thereby coveringvarious conditions including nighttime, shadows, and high temperature. The authors have also established analgorithm to detect pedestrians. This paper outlines the developed hybrid image sensor and pedestrian detection
algorithm along with their evaluation results.
Keywords: pedestrian detection, far-infrared-ray camera

1.

緒言

交通事故削減を目的として、路側にセンサを設置して付近焼結 ZnS レンズを活用した遠赤外線カメラ、及び歩行者検の歩行者・自転車などを検出し、接近車両に対して危険を通（2）。今回、交差点
出アルゴリズム※2 の開発を進めてきた（1）、知する路車協調型安全運転支援システムの検討が進められてにおける交通事故削減を狙い、遠赤外線カメラ／可視カメいる（図 1）。本システムにおいて路側センサは重要な役割

ラを組み合わせたハイブリッド画像センサ、及び両カメラを果たしており、24 時間 365 日、あらゆる環境条件下におの特性を活かした歩行者検出アルゴリズムを開発した。本いて高精度に歩行者を検出することが求められている。

稿では、開発したハイブリッド画像センサの概要、歩行者検出アルゴリズムの詳細、及び歩行者検出性能の評価結果について示す。

道路脇のセンサで歩行者を検出し、無線で車に通知

2.

ハイブリッド画像センサの概要
歩行者検出用途で使用されるセンサの比較表を表 1 に示す。可視カメラは交通管制などの車両検出用途で広く用いられているが、夜間において照明が当たっていない歩行者は検出することが困難（車両はヘッドライトを有するため検出可）、歩行者の影の誤検出などの課題が残っている。
一方、遠赤外線カメラは物体の熱を映像化するため、照明対象とする事故要因
・ドライバ不注意
・飛び出し・右左折時の巻き込み 他

表1

カメラ種類

歩行者検出用センサの比較

可視カメラ

遠赤外線カメラハイブリッド画像センサ

環境光やヘッドライト 物体が発する遠赤外線 熱画像・可視光画像のからの反射光を検出 （熱）を検出
両方で歩行者を検出

図1

路車協調型安全運転支援システム

原理

検出波長帯：400〜700nm 検出波長帯：8〜12µm
環境光

反射光

当社では歩行者が発する熱（遠赤外線）を映像化する遠赤外線カメラ※ 1 に着目し、独自の遠赤外線光学材料である−（ 34 ）− ハイブリッド画像センサの開発

性
能昼間

○△○

夜間

△〜×○

○

悪天候

△○

○

の無い夜間でも使用でき、またレンズに付着した水滴・雪が可能であり、カメラの低価格化において有効である。ハの影響が小さいなど様々な環境下で撮影が可能なため、歩イブリッド画像センサの仕様を表 2 に示す。

行者検出用途で有望視されている。しかし、歩行者と背景（路面）との間で温度コントラストが得られにくいシーン（路面温度が上昇する夏の昼間など）が存在するといった

3.

歩行者検出アルゴリズム
今回開発した歩行者検出アルゴリズムの基本的な処理フ課題も有している。
以上の可視カメラ及び遠赤外線カメラの課題に鑑み、当社では両カメラを併用して互いの短所を補い合うハイブローチャートを図 3 に示す。本アルゴリズムでは、可視カメラ／遠赤外線カメラの両画像に対し個別に歩行者検出処リッド画像センサを開発し、歩行者検出精度の向上を目指理を施すだけでなく、両画像の特性差を踏まえた領域統合した。ハイブリッド画像センサの外観及び内部構成を図 2処理を導入し、歩行者検出精度の向上を図っている。以降に示す。遠赤外線カメラ用レンズとして用いている焼結で、開発したアルゴリズムにおける各処理の詳細を示す。

ZnS（写真 1）は、遠赤外線透過材料として代表的な Ge に比べると、光学的な材料特性（屈折率,透過率など）が若干劣る。しかし当社では、材料特性を補うためのレンズ設計技術により、周波数分解能（MTF）、ディストーションな可視カメラ映像入力

遠赤外線カメラ映像入力

背景差分

背景差分

候補領域抽出
（距離情報活用）候補領域抽出
（距離情報活用）どに関して良好な光学性能を確保している。当社の焼結ZnS レンズは材料コスト、製造コスト共に安価にすること

筐体

保護窓
（ガラス）

可視カメラ
遠赤外線カメラ

候補領域抽出
（両画像の重ね合わせ）
制御基盤候補領域抽出（路面反射部除去）

保護窓（ZnS）

図2

候補領域抽出
（時系列追跡）

ハイブリッド画像センサの外観、構成

歩行者判定

結果出力

図33−1

写真 1

焼結 ZnS レンズ

歩行者検出アルゴリズムの処理フローチャート

背景差分

非背景領域を抽出するため、入力画像に対して背景差分処理を行う。入力画像と背景画像とを比較して差分画素を抽出した後、隣接する差分画素同士のグループ化、またグループ化した領域の内部穴埋め処理などを行い、非背景領域として抽出する。ここで、非背景領域の抽

表2項

ハイブリッド画像センサ仕様

げられるが、歩行者は車両などと比較して単位時間当たりの目

仕

視野角

H24［°］× V18［°］解像度

遠赤外線カメラ ： 320 × 240［pixel］
可視カメラ： 640 × 480［pixel］

階8 ビット（256 階調）グレースケール

領域の統合及び不要領域の除去を行い、歩行者の候補領域

H152 × W186 × D325［mm］として抽出する。本稿では、距離情報を活用した非背景領調サイズ様出処理としては時間差分（フレーム間差分）も候補として挙移動量が小さく、特に遠方の歩行者では移動を検出できないことが多いため、本稿では時間差分は採用しない。
3−2

候補領域抽出

背景差分にて抽出した非背景

2 0 1 2 年 1 月・ S E I テ クニ カ ル レ ビ ュ ー ・ 第 1 8 0 号 −（ 35 ）−域の統合に基づく候補領域抽出に加え、以下の 3 つの処理得るが、路面反射の特性上、領域の拡張方向は歩行者下方を開発して候補領域抽出の高精度化を図っている。詳細をに限定される。以上を整理すると、可視カメラ／遠赤外線

以下に示す。

カメラの視野角・撮影向きがほぼ等しい場合、“1 つの可視・両カメラ画像の重ね合わせによる非背景領域の統合

カメラ非背景領域に含まれる遠赤外線カメラ非背景領域を・路面反射部検出による不要領域除去グループ化し、また必要に応じて非背景領域の下部エリア・時系列追跡による候補領域抽出を除去（（2）に該当）”することで、歩行者として過不足無（1）両カメラ画像の重ね合わせによる非背景領域の統合
可視カメラで抽出した非背景領域は、人間の影・路面反射などの影響で“本来の歩行者より大きい”非背景領域がい候補領域を抽出できる可能性が高い。本処理にて抽出した候補領域を図 5 に示す。

（2）路面反射部検出による不要領域除去

抽出されやすい傾向にある。さらに、影は太陽の方向など

上述したように、雨天時などの条件下では可視／遠赤外に依存するため領域が拡張される方向は様々である。一方

線カメラ画像において、歩行者下方に路面反射が発生する。

遠赤外線カメラ画像においては、背景である路面との温度反射状態は路面上の水膜の厚み分布に依存し、反射部の有コントラストが小さい部位は背景差分で抽出できず、“本無、大きさや鮮明さは様々に変化する。映像収集を通じて来の歩行者より小さい”非背景領域が検出されやすい傾向

様々な反射状態に共通する特徴量を鋭意分析した結果、遠にある（図 4）。例外として、雨天時の路面反射が生じた場合は本来の歩行者より非背景領域が大きくなる場合があり

赤外線カメラ画像において歩行者に対し反射部を含めてエッジ抽出処理を行った場合、歩行者と反射部の境界（＝足先）においてエッジ強度の変曲点が存在することを見出した（図 6）。抽出した候補領域に対して、領域上端画素を基準として候補領域までの距離を加味した足先想定座標を設定し、足先想定座標の上下近傍においてエッジ変曲点を探索して変曲点座標より下の領域を除去することで、候補領域から高精度に反射部を除去することが可能となった。

原画像

原画像

非背景領域抽出結果

非背景領域の抽出結果（左：可視カメラ画像、右：遠赤外線カメラ画像）

エッジ強度の変曲点反射部

図4

非背景領域抽出結果

人間本体

原画像

エッジ画像

エッジ強度
可視非背景領域（点線）に完全に内包される遠赤外線非背景領域を統合

図6

路面反射部の検出方法（エッジ強度の変曲点）（3）時系列追跡による候補領域抽出
歩行者同士が重なった場合など、ある時刻の画像のみで非背景領域（可視画像）は候補領域抽出を高精度に行えないシーンが存在するた
め、上述した候補領域抽出処理に加え、過去の歩行者検出結果を利用した候補領域探索処理を行う。具体的には、前時刻で検出した歩行者検出枠内の画像を参照画像とし、歩統合結果（実線）行者（自転車含む）の移動速度を加味した探索範囲内に探索画像を設定し、類似度計算を行う。そして、所定の相関値を超え、かつ最も相関の高い探索画像を候補領域として非背景領域（遠赤外線画像）

図5

画像の重ね合わせによる非背景領域の統合結果−（ 36 ）− ハイブリッド画像センサの開発選択する。
3−3

歩行者判定

抽出した候補領域に対し、歩行者判定処理を行って検出対象か否かの識別を行う。歩行者判定

処理の流れとしては、まず歩行者のサイズ条件を用いて候補

5.

結言領域を粗くスクリーニングした後、可視／遠赤外線カメラ画従来の歩行者センサの課題を解決すべく、ハイブリッド像において個別に SVM（Support Vector Machine） によ画像センサ及び歩行者検出アルゴリズムを開発し、歩行者る判定処理を行い、いずれかの画像において歩行者と判定検出性能の評価を行った。結果として、未検出率・誤検出された場合のみ、最終的に歩行者と判定する。SVM 判定に

率共に 10 ％以下と良好な歩行者検出性能を得ることがで必要な特徴量としては HOG（Histograms of Oriented

きた。今後は、更なる未検出／誤検出の低減、及び移動方（3）※ 4を使用する。ここで、抽出した候補領域Gradients）向・速度測定の高精度化を図っていく予定である。

※3は真の歩行者位置から多少ずれている場合があり得るため、抽出した候補領域の周囲に候補領域を追加し、検出漏れ防止を図っている。さらに、SVM 判定を行う前に、抽出した候補領域のサイズ正規化処理が必要となるが、直立した歩行者と横向きの自転車では候補領域の縦横比が異なる

用 語 集ーーーーーーーーーーーーーーーーーーーーーーーーーーーー※1

遠赤外線カメラ

ため、本稿では横向き自転車における人間の形状特徴に着物体が発する熱（波長 8 〜 12µm の電磁波）を撮影するカ

目し、横向き自転車の領域から人間領域を検出してサイズメラ。物体の温度を測定できるだけでなく、暗所でも撮影正規化を行う処理を導入している。

可能という長所を有する。

4.

※2

歩行者検出性能評価

歩行者検出アルゴリズム

入力センサ信号をソフトウェアで処理し、検出エリア内の開発したハイブリッド画像センサ、及び歩行者検出アル歩行者を検出する技術。性能の指標として、存在する歩行ゴリズムの有効性を検証するため、日本各地で通年で収集者の検出漏れを表す未検出率、歩行者以外の物体を検出しした映像に対し、歩行者検出性能の評価を行った。検出率てしまう誤検出率で評価される。の定義を表 3 に、評価結果を表 4 に示す。いずれのシーンにおいても未検出率・誤検出率共に 10 ％以下となり、良※3

好な数値が得られている。未検出の大半は①集団の歩行者、

Support Vector Machine ：過去の経験則を活用するパあるいは②歩行者と他物体との重なり（中でも画像内に登ターン認識技術の 1 つ。

SVM場した直後からの場合が多数）が主要因となっているが、例えば横断歩道が存在する場所では歩行者の出現場所・移※4

動方向はある程度限定できるため、これらの情報を活用す

Histograms of Oriented Gradients ：物体検出を行う際ることで更なる精度向上が期待できる。誤検出要因はバイの画像特徴量の 1 つ。入力画像の勾配を求め、それを局所クや車両の一部に対するものが多数であるが、遠赤外線カ領域毎に分割してヒストグラムを計算したもの。

HOG

メラでエンジン部の温度情報を上手く活用することで、誤検出の低減が期待できる。
参表3項定

文

献

（1） 「遠赤外線カメラを用いた夜間歩行者検出システムの開発」、SEI テ
クニカルレビュー第 169 号（2006）

検出性能の定義目考義

未検出率［％］

検出した歩行者数÷歩行者数真値× 100

誤検出率［％］

誤検出数÷全検出数× 100（2） 「遠赤外線カメラを用いた歩行者検知システムの開発」、SEI テクニ
カルレビュー第 171 号（2007）（3） “Histograms of Oriented Gradients for Human Detection”,IEEE Conf.
on CVPR, pp.886-893（2005）※検出対象：歩行者、自転車、車椅子

表4執検出性能評価結果

晴・昼 晴・薄暮 晴・夜筆裕 昭＊：自動車技術研究所
電動車両向け充電システムの開発に従事

畑中

健 一 ：自動車技術研究所

早崎

俊 克 ：自動車技術研究所長

雨・昼 雨・薄暮 雨・夜

未検出率 4.8 ％

3.2 ％

2.9 ％

6.2 ％

6.3 ％

6.9 ％

誤検出率 8.0 ％

3.5 ％

7.1 ％

5.6 ％

8.7 ％

3.9 ％

者 ----------------------------------------------------------------------------------------------------------------齋藤グループ長------------------------------------------------------------------------------------------------------------------------------------＊主執筆者

2 0 1 2 年 1 月・ S E I テ クニ カ ル レ ビ ュ ー ・ 第 1 8 0 号 −（ 37 ）−