三菱重工技報 VOL.45 NO.3: 2008

36

特集論

コンピュータグラフィックスによる模擬
環境外乱を用いた画像処理アルゴリズムのロバスト性検証

文

ノーズビューカメラ
外観

元画像
コンピュータグラフィックス

Robustness Veriﬁcation of Image Processing
Algorithms Using Simulated Environmental
Disturbance by Computer Graphics

車室内モニタ映像

外乱合成画像宅 原 雅 人＊1

Masato Iehara

見 持 圭 一＊2
Keiichi Kemmotsu

車載画像処理システムの開発では，降雨，降雪などの天候の違い（環境外乱）に対して高いロバスト性を確保することが重要である．そのため，従来は大量の実画像を取得してロバスト性の検証を行っていたが，長い開発期間がかかる原因の１つとなっていた．そこで当社では，コンピュータグラフィックス（CG）を用いて天候やノイズなどを模擬した画像を生成し，系統的かつ定量的にロバスト性を検証するツールを開発した．本ツールは，各種の外乱をパラメータに基づいて生成し，実写画像上に重畳するものであり，少数のサンプル画像から大量の画像を生成できる．この結果，ロバスト性検証にかかる期間を大幅に短縮でき，ロバスト性の高い画像処理アルゴリズムを短時間で構築することが可能となった．

1．はじめにカメラのレンズ，撮像素子の特性の個体差や，電子回路のノイズなども性能の低下要因となり得る．このよ

車載の画像処理システムは天候変化を含む様々な環

うな，画像処理システムの性能低下につながる要因は，境で使用されるが，このような環境においても一定のシステムにとっての 外乱 ととらえることができる．

性能が維持できる能力（ロバスト性）が求められる．

システムが，様々な環境で一定の性能を維持するため

これまで，外乱に対するロバスト性の検証は，実環境には， 外乱に強いアルゴリズム下で取得した画像を用いて行ってきたが，再現性や定ある．

を開発する必要が量性評価を行うためには，統計的に十分と考えられるアルゴリズムの設計者が，対処すべき外乱を十分把大量の画像を取得する必要があり，長い開発期間がか握できていれば，それに対応したアルゴリズムを構築かる原因の１つとなっていた．

できる．しかし，机上で想定できる外乱は少なく，実そこで当社は，コンピュータグラフィックス（CG）環境下での画像を取得しなければ分からないことも多を用いて天候やノイズなどの現象を模擬した画像を生い．また，構築したアルゴリズムが，実際にその外乱成し，系統的かつ定量的にロバスト性を検証するツーに対して対処できているかを確認するために，実際のルを開発した．本ツールは，天候変化やノイズ・コン画像を用いて検証を行う必要がある．そのため，これトラスト低下といった各種の外乱を，パラメータに基までは，アルゴリズム構築に先立って（あるいは並行づいて生成し，これを実写画像上に重畳することで，して），実環境下で多数の画像を取得し，それらの画実環境中での環境外乱を模擬した画像を生成するもの

像を用いてアルゴリズム構築・検証を行ってきた．

である．本ツールを利用して，少数のサンプル画像かしかし，システムが利用される環境下で，あらゆるら大量の画像を生成することで，画像処理システムの外乱を含む画像を取得することは，現実的に困難であ検証時間の大幅な短縮が可能となった．

る．天候だけを考えても， 雪，雨，霧

2．ロバスト性検証
2．1といった環境下の画像を取得するには，それぞれ実際にこのような天候が発生するのを待たなければならない．また，車載画像処理システムのロバスト性検証の課題

雪だけを考えても，雪の量や風の影響など，様々な要異なる環境において取得される画像は，画像の見か因によって画像の見かけが変わるため，単に雪の環境けの変化を引き起こし，その結果，画像処理システムで画像を１シーン取得すれば十分，というものでもなの性能の低下の要因となり得る．天候条件以外にも，

い．

＊1
＊2

技術本部高砂研究所電子・光技術研究室 技術士（情報工学）
技術本部高砂研究所電子・光技術研究室主席

三菱重工技報 VOL.45 NO.3: 200837

そのためこれまでは，統計的に十分であると思われまた，検証部では，系統的に外乱を変化させたときるだけの大量の画像を取得し，これらを対象としたアの画像処理アルゴリズムのロバスト性を定量的に算出

ルゴリズムの構築・検証を行ってきた．しかし，大量し，画像処理アルゴリズムのパラメータと外乱の関係の画像を用いて長時間の検証をしたとしても，多様なを定量化する．これにより，外乱に対してどのような実環境で実際に使用されたときにロバスト性があるか特性を持っているのか，ロバスト性を向上させるためどうかの見込みや確信を得ることができず，また，実に，どのパラメータをどの程度変化させればよいかの，運用の時点で初めて遭遇する外乱があったときに，所予測や判断を行う指針が得られる．これにより，ロバ定の性能を発揮できないことがあった．

スト性の高い画像処理アルゴリズムを短時間で構築す

2．2

CG を用いたロバスト性検証ツールることが可能となる．

そこで当社では，系統的かつ定量的にロバスト性をロバスト性検証ツールを用いることで，構築中のア検証するツールとして，CG を用いたロバスト性検証ルゴリズムに対して，大量の画像を用いてロバスト性ツールを開発した．本ツールは，天候変化・ノイズ・を事前に検証することが可能となり，開発の効率化と，コントラスト低下といった各種の外乱を CG によってアルゴリズムのロバスト性確保が可能となる．

模擬的に生成する部分（外乱模擬部）と，品質工学をなお，ロバスト性検証ツールによる開発効率化は非用いて定量的なロバスト性検証を行う部分（検証部）

常に有効なものであるが，実環境下で取得した画像にから構成される．

よる検証に対して完全に置き換えるものではない．し

外乱模擬部では，CG によって生成した外乱を，実かしながら，従来のような大量の画像を用いた検証と写画像上に重畳することで，実環境中での環境外乱を比較して，本検証方法は飛躍的に少ないサンプル数で模擬した画像を生成する．模擬する外乱は，カメラがの検証が可能となる．

撮影している対象空間内の環境変化（天候外乱）と，カメラ内部のレンズ，撮像素子の特性や電子回路で発3．外 乱 模 擬 部

生する外乱（基本外乱）に対応している（図１）．
CG を用いた外乱生成のメリットは，パラメータを外乱模擬部は，レンズ，撮像素子の特性及び電子回路で発生する外乱を模擬する

基本外乱模擬部と，用いて定量的な外乱を生成できることと，１つの基準カメラが撮影している対象空間内の環境変化を模擬すとなる画像に対して異なる外乱条件の複数の画像を生る

天候外乱模擬部とから構成される．

成できることである．このようにして，実環境下で取3．1

基本外乱模擬部得した少数のサンプル画像から，大量の検証用画像を

基本外乱模擬部はカメラ内部で発生する外乱をシミュレートするソフトウェアである．これらの外乱を生成することが可能となる．

厳密に模擬するには，カメラの物理的な特性を反映したシミュレーションモデルを用いる必要があるが，画外乱模擬部
天候外乱模擬部

像処理アルゴリズムの品質検証には詳細特性は必要

基本外乱模擬部

なく，簡易なモデルで性能を満たすことができる．例
えば， コントラスト変化

外乱合成画像

＋

実写画像
DB＋

画像処理
アルゴリズムは，入力画像の輝度値を，線形に輝度変換するものである．
検証部

模擬できる外乱は，コントラスト変化，ガウシアンノイズ，ゴマ塩ノイズ，ガンマ値変換，色温度変換，歪み，画像ぼけ，変形の８種類である．図２に模擬結

図１

ロバスト性検証ツールの構成

元画像

果の例を示す．

コントラスト変換

図２

画像ぼけ

基本外乱模擬部による外乱模擬の例

色温度変換

三菱重工技報 VOL.45 NO.3: 2008

383．2

天候外乱模擬部も，変更するパラメータの特定や，パラメータの変更

天候外乱模擬部は，外乱のない天候状態（晴天の状量は，設計者の知識や経験や推測により決定していた．

態）で撮影した画像に CG で作成した天候変化を付

このような方法に対して，ロバスト性検証ツールの加するソフトウェアであり，雨・雪・霧の３種類を検証部では，系統的に外乱を変化させたときの画像処模擬する機能を搭載している．天候の模擬には，市販

理アルゴリズムのロバスト性を定量的に算出し，パラの CG 作成専用のレンダリングソフトウェアを用いてメータと外乱の関係を定量化する．

おり，各外乱の状態はパラメータで制御できるように例えば，雨の量を少量から大量まで段階的に変化さなっている（例えば雨については，雨の量，降る角度せていけば，降雨量の変化により画像処理アルゴリズを設定できる）．

ムの性能がどのように変化していくのかを検証するこ

これらの天候を厳密に模擬するには，画像に映る対とができ，降雨量の変化に応じた画像処理アルゴリズ

象物に応じた処理が必要であるが，ここでは簡易的なムのロバスト性を系統的かつ定量的に検証することが手法を用いている．図３に示すように，入力画像は，できる．

レンダリングソフトウェア内の仮想カメラ前方に設置

また，ロバスト性を向上させるために，画像処理アされたスクリーンで再生され，その前面に設置した雨ルゴリズムのどのパラメータをどの程度変化させれば粒・雪片や霧のスクリーンを通して仮想カメラで撮影よいかの，予測や判断を行う指針が得られ，ロバストされる．

性の高い画像処理アルゴリズムを短時間で構築するこ

そのため，ここで模擬できるのは，画面内を通過すとが可能となる．

る雨粒・雪片・霧であり，路面での反射・路面の色のさらには，パラメータ変更後において，再び外乱を変化・水たまり・雪塊などは模擬していない．図４に系統的に変化させて，アルゴリズムの精度を再検証す模擬結果の例を示す．

ることにより，変更したパラメータの種類やパラメー

4．検証

タの変更量が適切であったか否かを，正確に確認する部ことができる．

従来のアルゴリズム検証では，実環境で撮影した画像を処理した時に得た結果を，設計者が検討・判断して，いわば試行錯誤的に，特定のパラメータの値を変更して，ロバスト性を向上させようとしていた．しか5． 車載ノーズビューカメラによる移動物体検出システム への適用
5．1

車載ノーズビューカメラによる移動物体検出システム（株）で開発中のシステ本システムは三菱自動車工業
ムであり，見通しの悪い交差点頭出し時に死角となる映像スクリーン( )( )左右の安全確認を補助するものである 1 2 ．図５に示

仮想カメラ

すように，車両前方の左右に取り付けられたビューカメラ

ノーズを用いて自車に接近してくる物体（車両，自転車）を画像処理によって検出し，車両と接近
霧スクリーン

物体が交差するまでの時間を算出して情報提供を行なうものである．
5．2

図３

天候外乱模擬部による模擬の仕組み

元画像

雨

図４

ロバスト性検証ツールを利用した評価結果

実環境下では，雨や雪などの環境や，路面形状によ霧

天候外乱模擬部による外乱模擬の例

雪三菱重工技報 VOL.45 NO.3: 200839

接近交差時間（秒）

10
外乱なし

8

カメラ視野範囲外

64
2：レーザレーダによる計測値：画像処理による推定値0

ノーズビューカメラ外観

車室内モニタ映像

図５

車載ノーズビューカメラによる移動物体検出システム

接近交差時間（秒）10CGによる雪の外乱

8

外乱の影響による検出開始の遅れ

64
2001

23

4

5

6

時刻（秒）
検出開始時間（外乱なし）

る接近物体の挙動などの外乱が検出性能に影響を与える．そこでロバスト性検証ツールを適用し，システム

図６のロバスト性を検証した．

検出開始時間（CGによる雪の外乱）

外乱環境下での接近交差時間推定結果

移動物体検出システムは，画像中の特徴点を抽出し，動き（オプティカルフロー）を計算するアルゴリズム能となった．従来，大量の実画像を取得して行っていが用いられている．雨や雪などの外乱環境下では，特たものであるが，本ツールを用いることで，少数のサ徴点を抽出する際に，雨粒や雪を特徴点として抽出す

ンプル画像から様々な条件の画像を生成することが可

ることで誤検出の増加が考えられるため，本アルゴリ能となり，開発コストの低減が可能となる．

ズムには，接近物体上の特徴点以外のものを除去するためのノイズ除去フィルタを搭載している．
図６に，雪を合成させた画像と，雪の外乱のない画

車載ノーズビューカメラによる移動物体検出シス
テムへの適用に当たっては，三菱自動車工業（株）のご協力をいただき，心より感謝の意を表します．

像での処理結果を示す（本結果は，三菱自動車工業（株）( )．横軸は経過時間，縦軸はで実施したものである 2 ）接近交差時間である．移動物体検出システムが出力する接近交差時間の誤差を評価するため，同時に計測したレーザレーダの出力から求めた値についても参考として示している．
接近物体の検出開始時間が若干遅れ，誤差も若干大きくなっているものの，２秒以上前から接近交差時間を算出できており，ノイズ除去フィルタ参 考 文 献（1）前村高広ほか，車載ノーズビューカメラによる移動物体検出システム，自動車技術会春季学術講演
会予稿集，No.56-07（2007）（2）上南恵資ほか，車載ノーズビューカメラによる移動物体検出システム（第２報），自動車技術会秋季学術講演会予稿集，No.100-07（2007）

によって外乱が効果的に除去されているといえる．

6．まとめ

ロバスト性検証ツールの開発により，天候やカメラ内で発生する現象を模擬した画像を生成し，画像処理アルゴリズムを系統的かつ定量的に検証することが可

宅原雅人

見持圭一