安心安全･ユビキタス

赤外スペクトル情報応用の路上障害物のセンシング
小杉幸夫・村＊瀬宇

都有昭・森口雅亨・浅＊野太郎

弘・高岸成典Sensing On-Road Objects by Infrared Hyper Spectrum ─ by Yukio Kosugi, Toru Murase, Taro Asano, Kuniaki Uto,
Masahiro Moriguchi and Shigenori Takagishi ─ Prevention of traffic accidents between human and vehicles onroad has become one of the major issues today and the development of advanced in-vehicle safety systems is highlyexpected. A sensing system installed into a vehicle can be a solution to the issue, playing a complementary role forthe elderly with poor detection capabilities, especially in aging society.
Although visible light imaging and thermal infrared ray (TIR) sensing have been put into practical use in some fields,
yet they fall short of sensing accuracy due to their moisture-absorption property or susceptibility to other heatsources, such as vending machines.
Focusing on short wavelength infrared rays (SWIR), the authors have developed the basic technology of sensing anddetecting objects by using hyper spectra. This paper presents an overview of the SWIR hyper spectrum sensing
method and its evaluation system, along with the experimental results proving the method’s high accuracy in humandetection.
Keywords: hyper spectrum sensing, human detection, short-wave infrared

1.

緒

言
矩形特徴量など、2 次元画像内の輝度値の空間的分布をも路上の人と車両の接触事故を如何に低減するかは安心・安全を目指す我が国の国民的課題の一つともなっている。とにした特徴抽出が行われ、サポートベクターマシン

特に年々進行する高齢化社会では、保護されなければなら（SVM）アルゴリズムを用いた処理精度の向上が図られてない歩行者の危険感知能力の低下を補う車両側への安全付いる（1）。これとは別に、歩行者の検出に熱赤外センサを用加機能の強化が望まれている。例えば、温暖化防止のためいた方式も一部実用化されているが、熱赤外領域の電磁波急増しているハイブリッドカーや電気自動車などは、走行は水分による吸収が大きいこと、自動販売機などの熱源を時の騒音が少ないというメリットの反面、歩行者が車両の誤認識する可能性がある、背景との温度差が乏しい環境下接近に気が付かないというデメリットをも内在している。

では歩行者が見落とされるなどの問題点を有している。リ

さらには、歩行困難者を対象とした電動車椅子の高性能化

モートセンシング分野で用いられる光学センサは、通常、も、歩行者に対する危険要因となりつつある。これら、路表 1 のように対象とする波長域で分類されるが、本研究開
発では、ハイパースペクトルセンサ（以下 HS センサと略

上で歩行者と共存する車両に、歩行者やその他の障害物を識別する機能が賦与されれば、近接時にアラーム音を発生記）で取得した各種障害物の反射スペクトルの特徴にもとするなどの方法で、歩行者および車両運転者の両者に危険づき、従来あまり関心が払われていなかった短波長赤外領回避のための情報を提供することが可能となる。

域（SWIR）に着目し、この波長域での反射スペクトル情報から対象物を検出するための基礎技術の開発・試作状況

このように、路上の歩行者および各種の障害物を検知・について報告する。

識別する方式としては、可視光画像の輝度ヒストグラムや

表1名称略号

波長域

紫外

リモートセンシングで用いられる各バンドの名称と波長域

可視

近赤外

短波長赤外

中波長赤外

熱赤外

UV

VNIR

SWIR

MWIR

TIR

<400nm

400-760nm

0.7-1µm

1.0-2.5µm

3-5µm

8-14µm−（ 124 ）− 赤外スペクトル情報応用の路上障害物のセンシング

2.

ハイパースペクトル画像の取得と活用

域の衛星画像から植生状態を評価するのに有効である。

未知の波長域での対象物の反射特性を調べるのには、HS

このような正規化指標は短波長赤外領域についても次式センサの利用が有効である。HS センサは通常 100 を越えのように二つの波長λ1、λ2 における反射率を R（λ1）、Rる連続した狭帯域バンドに分けて対象物の反射スペクトル（λ2）を用いて定義でき、さまざまな対象物の性質を抽出す情報を検出する光学センサで、航空機や衛星から広域にわることができる。

たっての地上の資源探査や土地利用の把握、農林業分野で」/「R（λ1）＋ R（λ2）
」NDX ＝「R（λ1）– R（λ2）の植生の分析等、リモートセンシング分野では幅広い利用

東工大小杉研究室で提案してきた幾つかの例を表 2 に示分野の開拓が進んでいる。同じ目的で用いられるマルチスす。先ず、土壌水分比（単位重量の乾燥土に含まれる水分ペクトルセンサ（通常数バンド～数十バンド）とのバンド重量）の推定では、上式でλ1 ＝ 1696nm、λ2 ＝ 1426nm

数による境界は必ずしも明確ではないが、隣接バンドの情とした NDSMI が土壌水分比 0 ～ 60 ％の範囲で良い近似を報を連続的に取得できる分光機構を備えている場合に HS

与 え る（ 4 ）。 ま た 、 背 景 か ら 人 肌 の み を 抽 出 す る NDHI

センサと呼ばれる。航空機搭載の HS センサとしては、（Normalized Difference Human Index）では、λ1 ＝NASA と カ リ フ ォ ル ニ ア 工 科 大 学 ジ ェ ッ ト 推 進 研 究 所

1070nm、λ2 ＝ 1550nm としたときに、種々の背景に対しが 1987 年 か ら 2009 年 現 在 も 運 用 し て い る AVRIS（6）。写真 1 はこのような演て人の肌が良好に抽出される（5）、（Airborne Visible/Infrared Imaging Spectrometer）が最も長い観測の歴史を持っている（2）。このセンサでは、バ算により HS 画像より抽出された人肌の例である。

我々がこの指標を発表してから 2 年後、米国空軍研究所

ン ド 数 が 224 で 380nm ～ 2500nm を カ バ ー し 、 高 度からほぼ同じ波長の組み合わせ（λ1 ＝ 1100nm、λ2 ＝20km からの観測で、地上分解能 20m、観測幅 11km と1400nm）で同式を用いた評価が Normalized Differenceなっている。一方、衛星搭載の HS センサでは衛星 EO-1 搭

Skin Index（NDSI）として発表されている（7）.

載の Hyperion（バンド数 210、地上分解能 30m、観測幅

このような正規化演算は、λ1 ＝ 1460nm、λ2 ＝ 1280nm

7.5km）が 2000 年より運用されている。我が国では HSとすることで森林植生の水ストレスを評価することがで観測衛星の 2013 年打ち上げを視野に入れてハイパースペ

き、日本海沿岸の各県で大きな被害の発生している「ナラクトルデータの利用基盤技術を開発すべく（財）資源・環枯れ」を検出する指標としても有効である（8）。

境観測センター（ERSDAC）が「ハイパープロジェクト」

しかしながら、これらの指標では、実質的に二つのバンを進めている（3）。このプロジェクトにおいては、航空機搭ドの情報だけしか利用していないため、HS センサから得載の CASI（カナダ Itres 社開発）および AISA（フィンラられる情報の多くは捨てられてしまう。HS センサから得ンド Specim 社開発）などの HS センサによる各種の観測られる情報を最大限に利用しようとした場合、全波長成分が実施されている。

をニューラルネットワーク等の適応的な処理系に加え、学本研究開発では、PGP 分光機能を備えたラインセンサを習によって処理を最適化することも可能ではあるが、HSクレーン車に搭載し、旋回等の動作で機械的に各種地物上センサから得られる各波長間のデータには高い冗長性が含をスキャンし、2 次元の HS 画像を取得する。また、このまれるため、Particle Swarm Optimization（PSO ：粒子ような画像取得が困難なケースでは、一定の視野角内の平均輝度スペクトルを計測する携帯型計測計を用いる。いずれの場合も、白色板較正によって各種対象物の反射率スペクトルを算出している。
ハイパースペクトルデータには、対象物の持つ各波長ごとの光の吸収や透過を反映した反射特性が含まれているため、対象物の物理的・化学的性質を推定する手がかりを与える。通常 100 バンドを超える膨大な画像データが取得さ表2

赤外領域で定義される正規化指標の例

λ１（nm）λ２（nm）

土壌水分比（4）

観測対象NDSMI

略号

16961426（5）、
（6）

NDHI

10701550（8）

NDWIswir

14601280

写真 1

NDHI により抽出された人肌

人肌検出

ナラ枯れ検出れるが、その中の各バンド間にはかなりの冗長性があるため、特定の対象物に限定した場合、対象物の状態を推定するのに最低限必要なバンド数はそれほど多くはない。極端な場合、最も有効な 2 波長を選び、その波長の反射率について演算を行うことで、有益な情報が効率良く抽出可能である。中でも、古くからリモートセンシングの分野で用いられている指標の中に、正規化植生指標（NDVI; NormalizedDifference Vegetation Index）がある。これは、680nm 付
近のクロロフィルの吸収に伴う反射率の低下と、近赤外領域の反射率増大の差を、両者の和で正規化したもので、広2 0 1 0 年 1 月・ S E I テ クニ カ ル レ ビ ュ ー ・ 第 1 7 6 号 −（ 125 ）−群最適化）などを用いて抽出される有効バンド数は 10 前

アスファルトでは、全域にわたって比較的平坦な反射スペ後に留まる（9）。

クトル傾向を持つ。なお、1380 ～ 1400nm には水蒸気の以下の路上障害物の判定では、処理の高速化を優先すると吸収帯があるため観測条件によっては白色板較正の際に大いう観点から、バンド数を最大 5 として処理系を構成する。

きな誤差を含むことになり、見かけ上反射率の分散が特異的に増大している。

3.

このように水蒸気等の吸収帯を避けつつ、各対象物の特路上障害物のスペクトルとその判別ロジック徴を良く表しているバンドとして、1100、1200、1300、路上で遭遇する代表的な対象物の短波長赤外領域での反1500、1600nm を選択し、多数の対象物について構築した射スペクトルを図 1 に示す。
（a）の皮膚、（b）の植生、（c）

スペクトルデータベースをもとに高速処理可能なロジックが観測されるのに対し、無機物の自動車、コンクリート、

図 2 の処理系では、各対象物の輝度値を白色板の輝度値の動物および衣類では、波長の短い側に比較的高い反射率を決定した。このロジックによる処理の流れを図 2 に示す。
で正規化して得られる各バンドの反射率を入力とする。先ず、比較演算①では五つの各バンドごとに、反射率を 0.02
1.0と比較し、全バンドとも 0.02 以下であれば、自動車のガラ

1.0

Reflectance

Reflectance

ス窓と判定し、Car に分類する。次いで②では 1100、1300、0.5

1500nm の 3 バンドから得られる 2 次差分および二つの正0.5

規化演算指標 ND3, ND5 を用いた演算処理結果について正負の判定を行う。以下同様に、各種の正規化演算結果の正01000 1100 1200 1300 1400 1500 1600 1700

01000 1100 1200 1300 1400 1500 1600 1700

Wavelength [nm]Wavelength [nm](a) Human Skin(b) Vegetation

1.0

各バンドの反射率

1.0−Reflectance

Reflectance

①0.5

Car＋

0.5−

②ND3＋
01000 1100 1200 1300 1400 1500 1600 1700

01000 1100 1200 1300 1400 1500 1600 1700

Wavelength [nm]Wavelength [nm](c) Animal / Cloth(d) Car / Coated Metal

0.5

Wavelength [nm]Wavelength [nm](e) Concrete(f) Asphalt

図1Classified Data

Hum

Human skin
Vegetation
Animal/Cloth
Car/Metal
Asphalt
Concrete

48

der2−

Veg.
202＋

Concrete

Vegetation−

Asphalt＋
Human（注）① 全バンドを閾値0.02と比較：全て負の場合、自動車（ガラス窓）と判定② der1 × (ND5+ND3) の正負を判定
der1: R1200, R1300, R1500による2次差分
der2: R1100, R1200, R1500による2次差分の正負判定
ND1: (R1500-R1200) / (R1500+R1200)
ND2: (R1300-R1200) / (R1300+R1200)
ND3: (R1600-R1300) / (R1600+R1300)
ND4: (R1300-R1100) / (R1300+R1100)
ND5: (R1500-R1300) / (R1500+R1300)
R1100は波長1100nmにおける反射率、R1200は波長1200nmにおける反射率、
R1300、R1500、R1600も同様の表記

代表的な路上対象物の短波長赤外域の反射スペクトル表3

ND2＋0.50
1000 1100 1200 1300 1400 1500 1600 1700

ND4−

Animal & Cloth01000 1100 1200 1300 1400 1500 1600 1700

−

＋

ND1

1.0

Reflectance

Reflectance1.0−

図25 バンドを用いた対象物判別処理アルゴリズム

5 バンドを用いた識別結果の混合行列

Reference Data
Ani.
Car

103

34

Asp.

48
5Con.

Row
Total

User’sAccuracy

32534820105375058

100%
100%
98.1%
91.9%
96.0%
91.4%

318

Column Total

4822103345358

Producer’s Accuracy

100%

91.0%

100%

100%

90.6%

91.4%

Overall Accuracy−（ 126 ）− 赤外スペクトル情報応用の路上障害物のセンシング(306/318)=
96.2%

負にもとづき、コンクリート、アスファルト、動物および衣服、植生、人肌に分類の処理が行われる。318 点の試料について、このような演算処理を行い、判定結果を評価した。評価結果を混合行列の形で表 3 に示す。表中、Producer’s Accuracy は、例えば、植生と分かっている試料を 22 点分類器に与えたところ、91.3 ％が正しく植生と判定され、8.7 ％が誤って動物および衣類と判定されたことを意味する。User’s Accuracy は未知の対象物を分類器に与え判定結果がアスファルトと出たとき、実際に現物を調査してみたところ 96 ％は正しいアスファルトであったが、残り 4 ％が実際はコンクリートであったことを意味する。
以上の結果を見ると、実際に人肌を与えた場合や、自動車を与えた場合には 100 ％の精度で、それぞれの正しい判定をしていることが分かる（Producer’s Accuracy）。し横方向：対象物の水平位置
縦方向：各バンドの反射率× 255

写真 3

画像前処理部モニタ画面

かしながら、コンクリートとアスファルトの判別においては、Producer’s Accuracy、User’s Accuracy ともにやや低い値となっている。

4.

タについて画像の並列処理を行わせる。
写真 3 は画像前処理部の内容をモニタした画像で、水平方向は、対象物の水平位置を 10 分割した位置を、垂直方

試作観測系

向には 5 つの各バンドごとに平均化した画素値を最大値

HS 画像は通常、被写体に対して平行にラインセンサを255 で数値および濃淡で表示している。

機械的に走査することで 2 次元画像を取得する（pushbroom）方式を用いるか、あるいは 2 次元配列されたセンサ上に加わる光の波長を透過波長可変のフィルタで濾波する方式が一般的であるが、いずれの方法でも走査に要する時間が無視できないため、高速の画像取得には適していな
い。前述のように、HS データの中から、5 バンド程度を選んだ場合にも対象物の認識精度は人や車輌の認識には高い精度が得られることから、本試作系では、図 2 のアルゴリズムで必要な 5 バンドのみの観測を高速で行う光学系を構成した。
この光学系の検知装置試作品を写真 2 に示す。センサから得られたビデオ信号は SIMD 型プロセサ（12）に入力される。
この処理系では 64 個ずつ 2 系統の処理内容、128 個のデー（a）対象物のカメラ画像（b）検出結果画面

右端が赤外 InGaAs センサ写真 2試作センサの光学系

写真 4

衣服および皮膚の実時間検出例

2 0 1 0 年 1 月・ S E I テ クニ カ ル レ ビ ュ ー ・ 第 1 7 6 号 −（ 127 ）−このように各バンドごと、各水平位置ブロックごとに整NDSMI

理された観測データは図 2 に示した処理系で高速処理され、Normalized Difference Soil-Moisture Index

したい対象物があるか、否かを 2 値化して表示する。写真

SIMD

4 の例は衣服および皮膚が存在するか否かについてオンラSingle Instruction Multi Data

演算結果は写真 4 のように、各水平位置のブロックに認識イン処理した結果で、（1/30）秒のフレーム周波数で実時間検出が可能である。

5.

結言

本稿では、歩行者を中心とした障害物検知・識別に利用可能な短波長赤外反射スペクトル情報をハイパースペクトルセンサで取得し、得られたデータベースをもとに、有効なスペクトル間の演算方式を提案する組み込みシステムへの実装を行うとともに、短波長赤外マルチバンドの観測光学系を構成し実時間での認識処理を実現した。本試作シス
テムでは、2 次元的な画像取得は行わないので、電動車椅子など、ローアングルからの観測を行う場合にも、プライバシーや良俗上の問題を惹き起こさないというメリットもある。現在まで、短波長赤外の情報が余り積極的には利用されてこなかったが、シリコン系の廉価なセンサの守備範囲を超えた波長帯のため、実用的なセンサの構成が困難であったことも短波長赤外が利用されてこなかった一因と考えられる。今後Ⅲ・Ⅴ族化合物半導体の技術的進展に伴い、この波長帯を用いたセンシング技術が一層進展するものと考える。

用 語 集ーーーーーーーーーーーーーーーーーーーーーーーーーーーー
サポートベクターマシン（SVM）
各パターンクラスの境界に位置する少数のデータ（サポートベクトル）を用いて最適化を行うパターン分類器

参考

文

献

（1）東久保政勝、栗田多喜男、「路車協調用画像センサの開発」SEI テクニ
カルレビュー、Vol.175, pp.108-112（2009）（2）NASA&カリフォルニア工科大学ジェット推進研究所、AVRIS
http://aviris.jpl.nasa.gov/（3）（財）
資源・環境観測センター、「ハイパープロジェクト」
http://www.ersdac.or.jp/HYPER/index.html（4）福角雅徳、嶺川陽平、宇都有昭、小阪尚子、小杉幸夫、小田九二夫、
斎藤元也、「ハイパースペクトルデータを用いた土壌水分推定における波長間演算の最適化」、システム農学会 2006 年秋季研究発表会抄録、pp.48-49（2006）（5）枝長孝幸、宇都有昭、小杉幸夫、「短波長赤外領域スペクトル情報を用いた人肌抽出に関する研究」、日本写真測量学会平成 17 年度秋季学術講演会（2005）（6）枝長孝幸、宇都有昭、小杉幸夫、「短波長赤外領域スペクトル情報を用いた人肌領域抽出に関する研究」、写真測量とリモートセンシング、
Vol.46、No.2、pp.17-26（2007）（7）Abel S. Nunez and Michael J. Mendenhall,“ Detection of Human
Skin in Near Infrared Hyperspectral Imagery,”vol. II, pp.621-624,
Proc. IGARSS 2008（2008）（8）小杉幸夫、宇都有昭、浅野太郎、菊地信輝、尾形俊成、小田川信哉、
小田九二夫、「航空機搭載ハイパースペクトルセンサを用いたナラ枯れの観測と解析」、第 120 回日本森林学会抄録、G23（2009）（9）Takayuki Edanaga, Yohei Minekawa, Sildomar T. Monteiro andYukio Kosugi:“Studies on human skin extraction from hyperspectral
data using particle swarm optimization”,写真測量とリモートセンシ
ング、Vol.47, No.3, pp.23-36（2008）（10）浅野太郎、小杉幸夫、宇都有昭、村瀬亨、佐々木吾朗、森口雅弘、「赤外ハイパースペクトル情報を用いた路上障害物認識に関する基礎的検討」、日本写真測量学会年次学術講演会論文集、pp.65-68（2009）の一方式。

（11）Taro Asano, Yukio Kosugi, Kuniaki Uto, Toru Murase, Toro Sasaki
and Masahiro Moriguchi:“ Discrimination of Obstacles on the Road
Using Hyper-spectral Dada”, Proc. ACRS（Beijing 2009）

PGP 分光器（12）Yoshihiro Fujita, Nobuyuki Yamashita, and Shinichiro Okazaki:“IMAP:
Integrated Memory Array Processor - Toward a GIPS Order SIMD
Processing LSI“, IEICE Trans. Electron, Vol. E76-C, No.7, pp.1144-1150（1993）

回折格子を 2 枚のプリズムでサンドイッチ構造にした分光器。
ND3（R1600-R1300）/（ R1600+R1300）で定義した正規化差分指標。
ND5(R1500-R1300）/（ R1500+R1300）で定義した正規化差分指標。
NDX
正規化差分指標の一般形（X が観測対象により変わる）。

−（ 128 ）− 赤外スペクトル情報応用の路上障害物のセンシング

執筆

小杉村瀬者 ----------------------------------------------------------------------------------------------------------------幸 夫＊：東京工業大学大学院総合理工学研究科教授
工学博士
ニューラルネットワークを用いた医用画像や地理画像などの情報処理の研究に従事
電子情報通信学会、IEEE、日本生体医工学会、計測自動制御学会、日本写真測量学会等各会員

亨＊：材料技術研究開発本部
情報通信研究開発本部技師長
安心安全ユビキタスワーキンググループ
リーダ 工学博士
スタンフォード大学客員研究員、カーネ
ギーメロン大学 MACH 客員研究員、（独）科
学技術振興機構（JST）WG 審査担当を歴任（独）産業技術総合研究所評価部委員、システム制御情報学会理事、電子情報通信学会員

浅野太 郎 ：東京工業大学大学院総合理工学研究科

修士 2 年

宇都有 昭 ：東京工業大学大学院総合理工学研究科
博士（工学）

助教

高岸成 典 ：研究統轄部企画部 主幹
安心安全ユビキタスワーキンググループ

森口雅 弘 ：研究統轄部企画部 主席
安心安全ユビキタスワーキンググループ

工学博士------------------------------------------------------------------------------------------------------------------------------------＊主執筆者

2 0 1 0 年 1 月・ S E I テ クニ カ ル レ ビ ュ ー ・ 第 1 7 6 号 −（ 129 ）−