自 動 車

遠赤外線カメラの車室内乗員検知システムへの応用
泉
畑中

達也 ・齋

＊藤裕昭・萩健一・澤井孝典

原剛

志Development of Occupant Detection System Using Far-infrared Ray (FIR) Camera ─ by Tatsuya Izumi, Hiroaki Saito,
Takeshi Hagihara, Kenichi Hatanaka and Takanori Sawai ─ In recent years, to reduce the risk of airbag-relatedinjuries, “smart” airbag systems that get activated depending on occupant position and crash condition areincreasingly being developed. The use of various occupant detection methods such as weight/pressure sensors,
ultrasonic sensors or image sensors is being proposed, but it is difficult to accurately sense the size and position of anoccupant. FIR cameras, which offer thermographic images, are useful for detection of human presence. The authors
have developed a low cost FIR camera using Sumitomo Electric's advanced material technology on polycrystalline
sintered zinc sulfide (ZnS) lens, and also developed an algorithm for detecting automobile occupants. This paper
presents the overviews of the FIR camera and the occupant detection algorithm both developed by the authors.

1.

緒言

自動車の安全性向上を目的として、衝突時に乗員を保護カメラを用いて画像処理にて乗員を検知する手法も用いらする SRS（Supplemental Restraint System）エアバッグ装置

れているが、環境光の反射光を検出して映像化するというが広く普及しており、運転席、助手席のみならず、座席側原理上、外乱光の影響を受けやすいという問題点がある。

面や後部座席への搭載が進んでいる。一方、エアバッグ搭

これに対して、遠赤外線カメラは物体の「熱」を映像化す

載率の上昇に伴い、エアバッグが原因とされる死亡事故もるため、乗員や歩行者といった人間を検知する用途で有望報告されており、米国においてスマートエアバッグの義務視されている。遠赤外線カメラで乗員を撮影した画像を写化が進むなど、さらなる安全性の向上が期待されている（1）。

真 1 に、車両前方の歩行者を撮影した画像を写真 2 に示す。

スマートエアバッグは、衝突の状況や乗員の着座状態を検知し、エアバッグの展開を最適制御するというものであり、乗員の姿勢や体格を高精度に検知できるセンサが求められている。
車室内の乗員検知手段としては、圧力センサや超音波センサ、可視カメラなどを用いた各種方式が提案されている。
当社では乗員が発する熱（遠赤外線）を映像化する遠赤外線カメラに着目し、独自の遠赤外線光学材料技術（焼結ZnS）を用いた遠赤外線カメラ、および遠赤外線カメラ向け車室内乗員検知アルゴリズムを開発した。本稿では、開写真 1

遠赤外線カメラ画像（車室内の乗員）

発したカメラの要素技術（レンズ設計・評価技術・信号処理技術）の概要、乗員検知アルゴリズムの詳細、および検知システムの検証実験結果について報告する。

2.

遠赤外線カメラを用いた車室内乗員検知システム

車室内の乗員検知センサとしては、圧力センサや超音波センサなどが一般に知られている。これらのセンサは物体の有無は検知できるが、乗員と荷物の判別や乗員の体格や姿勢の正確な検知が難しい。また、可視カメラや近赤外線−（ 18 ）− 遠赤外線カメラの車室内乗員検知システムへの応用

写真 2

遠赤外線カメラ画像（車両前方の歩行者）

遠赤外線カメラは一般に以下の長所・短所を有すると言わ収が大きく透過率が低下することなど、材料特性におけるれている。

短所も知られている（表 1）。当社では、独自の光学設計技①長所

術により、材料特性に起因する光学性能低下を補償し、・乗員の肌がカメラ映像中で比較的高輝度（高温）に映る※1や温度分解能 ※ 2 にMTF（Modulation Transfer Function）関して良好な光学性能を実現している。また、焼結 ZnS をため、乗員の有無の判別、乗員と荷物の判別が容易
・可視カメラや近赤外線カメラと異なり、太陽光やヘッドレンズ材料として用いた光学設計はあまり一般的ではない
ため、独自の設計データベースを作成し、様々な光学仕様ライトなどの外乱光の影響を受けにくいに対応できる設計環境を構築している。

②短所
・車室内の温度が上昇すると、乗員と背景物体との輝度差（温度差）が得られにくくなる・レンズ、撮像素子共に高価である

表1

遠赤外線光学材料の特性比較（代表値）

今回開発した車室内乗員検知システムの構成を図 1 に示

SinteredZnS

Germanium

Chalcogenideglass

Refractive index at
10μm2.24.0

2.5-2.6

Abbe number
8-12μm

22.7942100-120

Thermal coefficient ofrefractive index(dn/dT) [10-6]

39400

55-58

Thermal expansion
coefficient [10-6]

6.65

6.1

16-17

Density [g/cm3]

4.08

5.33

4.4-4.8

Absorption coefficient
at 10μm [cm-1]

0.20

0.020

0.007-0.015

す。高い乗員検知性能を実現するため、本システムでは助手席の乗員を遠赤外線カメラで撮影した後、乗員の肌温度情報を利用した画像処理を行うことで、乗員の有無、体格、姿勢等を検知し、結果をモニタに表示する。当社では、遠赤外線カメラの上記短所を補うために、乗員と背景の輝度差（コントラスト）を確保する明るいレンズ、乗員の絶対温度を計測可能なカメラ信号処理技術、および肌温度を利用した乗員検知アルゴリズムの開発を行っており、詳細を以下に述べる。

（1） 高コントラスト広角レンズの設計
今回開発した乗員検知システムでは、カメラを車室内に設置し、比較的近距離に存在する乗員を撮影対象とするため、ナイトビジョンシステム等の歩行者をターゲットとするアプリケーションと比べて、より広角なレンズが求めら検知範囲れる。試作したカメラの仕様を表 2 に示す。撮影対象まで

遠赤外線
カメラ

乗員の距離（0.5 〜 2m）、使用する撮像素子の画素数（320 ×240）、乗員検知アルゴリズムに求められる解像度等を考慮して、レンズの水平視野角を 52 度とした。また、乗員検知に必要なコントラスト（温度分解能）が得られるよう、MTF やディストーション ※ 3 などの光学性能が確保できる

図1

画像認識回路モニタ（乗員検知）（検知結果表示）範囲で F 値をできるだけ小さく設計した。

表2

遠赤外線カメラを用いた車室内乗員検知システム

項目

試作した遠赤外線カメラの仕様

仕様

F値

F/0.94視野角

H52 [°] × V40 [°]硫化亜鉛を材料とする当社独自の光学材料（以下、焼結

解像度

320 × 240 [pixel]ZnS）は、ゲルマニウムやカルコゲナイドガラスなどの他画素ピッチ

25 [μm]の遠赤外線光学材料と比較して、原料コストが安価であり、波長帯8-12 [μm]粉末冶金法を活用した成形プロセスを用いることで、製造階調

8 ビット（256 階調）グレースケールコストを大幅に低減できる点に強みがある。一方、他材料

サイズ

H45 × W55 × D95 [mm]と比べて屈折率の波長依存性が大きいこと、材料の内部吸画像出力

NTSC

2−1

車室内乗員検知システム向けレンズの設計・評価

2 0 0 9 年 1 月 ・ SEI テクニカルレビュー ・ 第 174 号 −（ 19 ）−

設計したレンズの光路図を図 2 に示す。第 1 レンズ、第球面収差、コマ収差を良好に補正することに成功した。ま2 レンズ、第 3 レンズの 3 枚のレンズで光学系を構成し、各た、屈折率の波長依存性に起因して発生する色収差に関しを使用した。少ないレンズ枚数で広角化をては、DOE（Diffractive Optical Element）※ 5 を導入するこ図るには、一般にレンズの曲率を大きくする必要があるが、とで低減を図った。設計したレンズの MTF 特性及び収差図

球面収差 ※ 3 やコマ収差 ※ 3 、ディストーションが大きくなを図 3 に示す。

るという問題点があった。当社では、各面の中心部と周辺（2） レンズの性能評価

面には非球面※4部で屈折力の正負が反転するような非球面形状を作製する

MTF 特性の評価には、OPT-IR（Optikos Corporation 製

ことで、軸上光線および軸外光線の挙動を精密に制御し、

LWIR OpTest Lens MTF System）を使用した。本装置は、被検レンズの画角調整及び、焦点位置調整が自動化されており、測定速度が高速化されると共に、測定再現性が高いという特徴を有している。試作した広角レンズの MTF 評価
結果を図 4 に示す。ナイキスト周波数である 20lp/mm でのMTF は、画角 0 度で 0.47、画角 20 度で 0.36、画角 20 度で0.26、画角 32 度で 0.42 となっており、軸上から軸外画角にかけて良好な MTF が得られている。

1
画角0度

0.9

5.00

画角20度

0.8

画角26度

0.7

画角32度

0.6

設計したレンズの光路図

MTF

図2

MM

0.5
0.4
0.3
0.2

1.0

T
RTR
T
R
T
R

0.9

MODULATION

0.8

DIFFRACTION LIMIT
0.0 FIELD ( 0.00)0
0.6 FIELD ( 19.84)0
0.8 FIELD ( 26.07)0
1.0 FIELD ( 32.10)00.1
00510

1520

Spatial Frequency [lp/mm]

0.7
T
R0.6

図40.5

試作したレンズの MTF 評価結果

0.40.30.2

温度分解能に関しては、当社のマスターレンズ（F/1.01）

0.1
4.0

8.0

12.0

16.0

20.0

24.0と試作カメラの組み合わせで測定した時の NETD（Noise28.0

Equivalent Temperature Difference）※ 6 を 100mK と仮定し、

SPATIAL FREQUENCY (CYCLES/MM)

マスターレンズとの相対 NETD にて評価を行った。図 5 の12000.0000 NM
11000.0000 NM
10000.0000 NM
9000.0000 NM
8000.0000 NM
LONGITUDINALSPHERICAL ABER.

ASTIGMATIC
FIELD CURVES

ような測定系を構築し、差温度黒体炉を用いてテスト

DISTORTION

IMG HT

IMG HT

1.00

5.01

5.01

0.75

3.75

3.75

0.50

2.50

2.50

0.25

1.25

1.25差温度黒体炉
遠赤外線カメラカメラ
映像解析装置（PC）

コリメータ 被検レンズ
テストチャート-0.20 -0.10 0.00 0.10 0.20

-0.20 -0.10 0.00 0.10 0.20

FOCUS (MILLIMETERS)FOCUS (MILLIMETERS)

図3-8.0-4.00.00

4.0

高温領域と低温領域の輝度差からレンズの温度分解能を算出。

8.0% DISTORTION

設計したレンズの MTF 特性、収差図−（ 20 ）− 遠赤外線カメラの車室内乗員検知システムへの応用

図5

温度分解能の測定系

表3に高価であり、車載用途には適さないと考えられる。当社

温度分解能の評価結果

では安価な構成で精度よく物体の絶対温度を計測する技術

F値

相対 NETD（設計値）

相対 NETD（実測値）

マスターレンズ

1.01100100

開発した絶対温度計測システムは、絶対温度を測定可能

試作レンズ

0.9486.683.3

な温度センサを遠赤外線カメラの撮影視野内に設置し、温項目を開発したので、以下に詳細を報告する。

度センサの出力（温度データ）をカメラに入力するような構成とした（図 6）。ここで、カメラ映像に映っている温度センサ（もしくは温度センサが設置されている物体）の輝チャートを生成し、被検レンズを取り付けたカメラにて撮度値と温度センサから得られた絶対温度の対応付けを行影した画像を解析することで相対 NETD を算出した。表 3

い、ゲイン A とオフセット B を算出する（図 7）。本シスに示すように、試作した広角レンズはほぼ設計通りの温度テムでは、測定対象物の輝度値 x をもとに、絶対温度 T を分解能が得られている。

算出する（T ＝ Ax ＋ B）。

2−2

絶対温度計測可能なカメラ信号処理技術

車試作したカメラの外観を写真 3 に、信号処理回路のブ外環境と比較すると車室内には発熱体が少ないため、乗員ロック図を図 8 に示す。信号処理回路では、撮像素子の出を検知する際には温度情報は非常に有用である。例えば、力を A/D 変換した後、固定パターンノイズ補正や欠陥画素カメラ映像をもとに乗員の肌温度（30 度前半）を正確に計補正等のキャリブレーション処理を行う。続いて、ゲイン測できれば、乗員検知アルゴリズムにおいて乗員と背景の制御やオフセット制御等の映像補正処理を行い、映像出力切り分けを容易に行うことができるため、乗員の検知精度変換処理を経て映像データ（アナログ信号 or デジタル信号）向上が期待される。物体の温度を精度よく計測するカメラを PC やモニタへ出力する。絶対温度算出処理はキャリブとしてはサーモグラフィーなどが市販されているが、非常レーション処理時に実施しており、映像補正処理時には指定した絶対温度範囲の切り出しなども合わせて行っている。
以上のように温度センサを用いた簡易な構成の下、カメラ映像から算出した温度と実測温度（接触式温度計を使用）温度センサとを比較した結果、測定誤差が± 1 ℃以内（＋ 20 〜 40 ℃

遠赤外線カメラ

図6

絶対温度計測システム

写真 3
温度

遠赤外線カメラ外観

T＝Ax＋B
温度センサ1信号処理回路

温度センサ2レンズ

測定対象（肌）

撮像素子

A/D変換

キャリブレーション

映像補正

温度センサ

映像出力変換

画像認識
回路

輝度値

図7

絶対温度の算出方法

図8

信号処理回路のブロック図

2 0 0 9 年 1 月 ・ SEI テクニカルレビュー ・ 第 174 号 −（ 21 ）−これらの対策として、画像中の輝度エッジを利用して乗員頭部のみを精度よく検出する技術を開発し、高精度な乗員検知を実現したため、以下に詳細を報告する。
開発したアルゴリズムのフローチャートを図 9 に示す。
まず、車室内温度と乗員の肌温度には一定の相関関係が存在することを利用して肌温度範囲を決定し、肌温度に相当する領域のみを検出する。肌温度相当領域には乗員以外に背景物体も含まれている可能性があるため、事前に準備した乗員が映っていない画像（背景画像）と現画像との両方においてエッジ検出処理を行い、エッジの差分を計算する
写真 4

遠赤外線カメラを用いた絶対温度計測

ことで背景に属する画素を除去する。次に乗員の「頭部」と「手」を分離するため、検出したエッジを用いて肌温度相当領域を複数領域に分割した後、カメラと乗員との幾何学的位置関係に基づいた頭部サイズ条件を満たす分割領域の範囲内）という非常に高い精度で乗員の肌温度を測定す同士を再結合し、頭部のみを検出する。最後に窓に映る虚ることに成功した。写真 4 にカメラ画像の一例を示す。

像対策として、事前に背景エッジ画像中から窓に属する今回開発したエッジを選択しておき、現時刻のエッジ画像との差分よりアルゴリズムでは、2-2 節で示した絶対温度計測技術を窓エッジの欠損有無を判定して虚像の除去を行う。具体的ベースとして遠赤外線カメラ画像中より肌温度相当領域をには、窓部に存在する領域は①窓方向に身体を傾けた（窓頭部として検出し、乗員有無、姿勢などの検知を行っていに重なっている）乗員、②ガラスに反射した虚像、のいずる。ここで、単純に温度情報を利用するのみでは以下に示れかであるため、窓エッジが欠損している場合のみ虚像とす現象に対応できず、乗員有無検知や姿勢検知に誤りが生判断して領域の除去を行なう。最後に、検出した頭部位置じる恐れがあった。に基づいて乗員の体格および姿勢を判定し、モニタへの出・夏のエンジン始動直後など車室内温度が高い場合には、力を行う。

背景と肌との温度差が小さくなるため乗員が背景に同化

2−42−3

車室内乗員検知アルゴリズム

検証実験

開発したアルゴリズムによる乗員有無・体格・姿勢検知性能の検証実験を行った。エアコンしてしまう・乗員の「手」が頭部近傍に存在する場合には、頭部と手がを用いて車室内温度を＋ 20 〜 40 ℃の間で変化させた画像一体となって検出されるためサイズや位置にずれが生じるに対してアルゴリズムを適用し、表 4 に示す分類を図った・遠赤外線はガラスに反射されるため、乗員側方の窓ガラ結果、良好な分類性能が得られていることを確認した。写真 5 にアルゴリズム処理結果の例を示す。

スに乗員の虚像が生じる

表4START

肌温度相当領域検出

背景領域除去

頭部検出

窓への虚像除去

体格・姿勢判定

END

図9

乗員検知アルゴリズムの処理フローチャート−（ 22 ）− 遠赤外線カメラの車室内乗員検知システムへの応用

乗員有無・体格・姿勢検知の分類

No.

乗員有無

1無体−

格

姿

勢−

2有大人

中央3有大人

左寄り

4有大人

右寄り

5有大人

判定不可

6有子供

中央

7有子供

左寄り

8有子供

右寄り

9有子供

判定不可

※ 姿勢の左右はカメラから見た場合の向き※2

温度分解能

遠赤外線カメラ（レンズ）がどれだけ小さい温度を検知できるかを表した値で、画像の明暗（コントラスト）の指標として用いられる。
※3

収差

光線がレンズを通過する角度や位置、波長の違いなどが原因で、光束（光線の束）が 1 点に像を結ばなくなる現象。

（a）乗員有･大人･中央

像のぼけやゆがみ、色のにじみに応じて、球面収差、コマ収差、非点収差、像面湾曲、ディストーション、色収差などに分類される。
※4非球面

多項式で表される曲面。一般に、複雑な形状変化を実現できるため、各種収差の補正に用いられる。
※5（b）乗員無DOE (Diffractive Optical Elements)

光の回折現象を利用して光線の挙動を制御する光学素子。
回折レンズはレンズ表面に同心円状の微細な起伏形状を施すことで形成され、色収差の補正などに用いられる。
※6NETD (Noise Equivalent Temperature Difference)

遠赤外線カメラの温度分解能の指標。値が小さいほど、より小さい温度差を検知できる。

（c）乗員有･大人･左寄り

写真 5

参

乗員検知アルゴリズムの処理結果

考文

献（1）U.S. Department of Transportation, National Highway
Traffic Safety Administration, Federal Motor Vehicle
Safety Standards （FMVSS） 571.208, Occupant crashprotection（2）齋藤他, 「遠赤外線カメラを用いた夜間歩行者検知システムの開発」、
SEI テクニカルレビュー第 169 号、（2006）

3.

結言

当社独自の光学材料である焼結 ZnS レンズを用いた遠赤外線カメラを開発し、車室内乗員検知システムにおいて検知性能の評価を行った。高いコントラストを有する広角レンズと安価で簡易な構成で乗員の肌温度を計測できる信号（3）S. Saito et al., Development of Pedestrian Detection
System Using Far-Infrared Ray Camera, SEI TechnicalReview, No.66、（April, 2008）（ 4） M. Hasegawa et al., Optical Characteristics of an
Infrared Translucent Close-Packed ZnS Sintered Body,
SEI Technical Review, No.54、（June, 2002）

処理回路技術を適用することで、乗員有無・体格・姿勢に関して良好な検知性能を得ることができ、当社の遠赤外線カメラが車室内の乗員検知センサとしても有効であること

執筆者 ------------------------------------------------------------------------------------------------------------------泉

達 也＊：自動車技術研究所
車載安全システム向け機器の研究開発に従事

齋藤裕 昭 ：自動車技術研究所

萩原剛 志 ：自動車技術研究所

主査

畑中健 一 ：自動車技術研究所

グループ長を確認した。
今後は、①カメラの小型化・低コスト化（低解像度センサによる性能確保）、②他のアプリケーションへの応用検討、などを進める予定である。

用 語 集−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−※1

MTF (Modulation Transfer Function)

レンズの解像度の指標。値が高いほど鮮明な画像が得られる。

澤 井 孝 典 ：自動車技術研究所長--------------------------------------------------------------------------------------------------------------------------------------＊主執筆者

2 0 0 9 年 1 月 ・ SEI テクニカルレビュー ・ 第 174 号 −（ 23 ）−