FIT2013（第 12 回情報科学技術フォーラム）H-021
車載カメラ画像処理アルゴリズム評価のための自由視点画像生成
Free-viewpoint Image Rendering for Evaluating Image Processing Algorithms
for In-vehicle Camera System
小甲啓隆 †Akitaka Oko
町田貴史 ‡
Takashi Machida粂秀行 †Hideyuki Kume佐野範佳 ‡Noriyoshi Sano

1. はじめに佐藤智和 †
Tomokazu Sato
横矢直和 †
Naokazu Yokoya

入力情報
走行シーンの点群情報・全方位画像とその撮影位置姿勢情報を取得
画像生成
視点位置を設定
点群を投影し，疎なデプスマップを生成
疎なデプスマップから密なデプスマップを生成
テクスチャとして用いる全方位画像を選択
画像を生成

(A)

近年，自動車の安全運転の支援を目的として，車載カメラシステムを対象とした様々な画像処理アルゴリズムが開発されている．従来，これらの画像処理アルゴリズムの評価は，実走行によって取得した画像群を用いて行われてきた．しかし，車載カメラの取り付け位置は車種毎に異なるため，車種毎の評価が必要とされることに加え，異なる車線や進路変更などの様々な状況に対応する走行環境の評価を行うためには，膨大な距離の実走行が必要となり，多大なコストが掛かるという問題が生じている．
この問題に対し，三次元モデルを用いてシミュレーション環境を構築し，走行環境を想定した仮想カメラ画像を CG で生成することで，低コストに画像処理アルゴリズムを評価するシステムが開発されている [1]．しかし，単純な CG により生成された模擬画像を用いた評価結果と実画像を用いた評価結果は異なるため，CGによる模擬画像は実画像の代替として使用するには不十分である [2]．
一方，Ono ら [3] は，ビルや空などの遠景についてはImage Based Rendering に基づき実画像を変形することで，より写実性の高い走行環境の仮想カメラ画像の生成を行っている．ただし，この手法では道路やガードレール・他車両などの近景に存在する物体は Model
Based Rendering に基づいて生成されるため，前述の手法と同様の問題が残されている．
本稿では，車載型三次元計測システムにより取得した三次元点群を入力として，Hybrid Rendering による自由視点画像生成 [4] を行うことで，近景を含むシーンに対する任意の視点位置・姿勢での写実的な走行環境の仮想カメラ画像を生成する手法を提案する．

(a-1)

(B)

(b-1)

(b-2)

(b-3)

(b-4)

(b-5)

図 1: 画像の生成手順

C0
(i)

(ii)

図 2: 車載型三次元計測システムにより取得した情報(i) 三次元点群と全方位画像の撮影位置・姿勢 (ii)C0 地点で取得した全方位画像

(i)

(ii)

図 3: 生成した奥行き画像 (i) 疎な奥行き画像 (ii) 密な奥行き画像

2. 走行環境を対象とした自由視点画像生成による仮想カメラ画像の生成

Hybrid Rendering は，視点位置に依存した奥行き情報を用い，あらかじめ取得した画像群から適切なテクスチャを選択しマッピングすることで，大幅な視点変更を行った場合にも，高品位な画像生成を行えるという特徴を持つ．以下では，Hybrid Rendering を用いて，任意の視点位置における走行環境の仮想カメラ画像を生成する手法を述べる（図 1 参照）．
(a-1)： 車載レーザスキャナ等を用いて，走行シーン周† 奈良先端科学技術大学院大学 情報科学研究科‡ 株式会社豊田中央研究所

辺の三次元点群，全方位画像およびその撮影位置・姿勢情報を取得する (図 2 参照)．

(b-1)： 仮想カメラの位置・姿勢を設定する．
(b-2)： 設定した仮想カメラに三次元点群を投影することで，疎な奥行き画像 Ds を生成する (図 3(i)参照)．
(b-3)： Ds から密な奥行き画像 Dd (図 3(ii)) を生成する．本報告では座標 (x, y) の Ds ，Dd の奥行き値を Ds (x, y)，Dd (x, y) として，一定サイズのウィ141
第 3 分冊Copyright © 2013 by Information Processing Society of Japan andThe Institute of Electronics, Information and Communication Engineers
All rights reserved.

FIT2013（第 12 回情報科学技術フォーラム）Pンドウ w を用いて以下の式により Dd を生成する．

d1d0

Dd (x, y) = min Ds (x + u, y + v)(u,v)∈wα0(b-4)： 生成した Dd から画像を生成する．ここではまず，図 4 に示すように Dd (x, y) に対応する三次元点 P と，仮想視点位置 C ，全方位画像の各取得地
点 Cj の三点の成す角 αj および，P と全方位画像の各取得地点 Cj の間の距離 dj を用いて，以下の式を満たす i フレーム目の全方位画像を選択する．

α1
C1CC0

図 4: 全方位画像の選択基準i = argmin(αj + kdj ) subject to dˆj > dj − thj

なお，式中の k は重み定数である．また，dˆj は事前に地点 Cj に対して作成した全方位奥行き画像上における点 P 方向に対する奥行き値であり，点P の可視判定に用いる．ここでは dˆj が dj よりも閾値 th 以上小さいとき，j フレーム目の全方位画像上では P が遮蔽されているものとし，これを使用しない．

(b-5)： P を選択した地点 Ci に対応する全方位画像に投影することで，合成画像上における座標 (x, y)の画素値を取得し，画像の生成を行う．

1フレーム目

5フレーム目

2フレーム目

6フレーム目

3フレーム目

7フレーム目

4フレーム目

8フレーム目

3. 実験
本実験では，トプコン社製車載型三次元計測システ
ム IP-S2 を用い，三次元点群および全方位画像を収集し，入力として用いた．データの収集は中央分離帯で隔てられた片側二車線の道路で行い，左車線を走行して収集した．本実験では，走行車線および追い越し車線を走行する他車両が存在しない約 1km の区間のデータを用いた．生成した画像の解像度は 800 × 600 pixelである．ここでは，車線変更を模擬したカメラパス上に仮想カメラを設定し，提案手法を適用することで，図5 に示すような画像生成を得た．
生成結果から，車線変更を行ったかのような一連の画像を生成することができた．一方で，視点位置の変化量が大きくなる 5〜8 フレーム目の生成画像上でアーティファクトが認められた．アーティファクトの存在は，画像処理アルゴリズムの評価において誤検知などの悪影響を及ぼすと考えられる．これは，主として生成した奥行き画像が真値と乖離していることが原因で引き起こる現象であり，奥行き画像の生成アルゴリズムを改良することで解決できると考えられる．

4. まとめ
本稿では，車載カメラの画像処理アルゴリズムの評
価に使用するための走行環境映像を生成するために，車載型三次元計測システムにより取得した三次元点群を用いた Hybrid Rendering による手法を提案した．今後は，本手法で生成した仮想カメラ画像を画像処理アルゴリズムに入力し，その結果の評価を行う予定である．
謝辞 本研究の一部は，日本学術振興会科学研究費補
助金 (基盤研究 (A)，No. 23240024) による．

図 5: 画像生成結果

参考文献[1] TASS prescan, http://www.tass-safe.jp/[2] 安田 浩志, 山田 直之, 寺本 英二: 歩行者検出システム開発のための模擬カメラ画像評価尺度の検討 , 電子情報通信学会総合大会講演論文集，D-1180，p.80, 2011.
[3] S. Ono, R. Sato, H. Kawasaki, and K. Ikeuchi:
Image-Based Rendering of Urban Road Scene
for Real-time Driving Simulation , ASIAGRAPH,2008.
[4] T. Sato, H. Koshizawa, and N. Yokoya: Omnidirectional Free-Viewpoint Rendering Using a Deformable 3-D Mesh Model , Int. Journal of VirtualReality, Vol. 9, No. 1, pp. 37-44, 2010.

142
第 3 分冊Copyright © 2013 by Information Processing Society of Japan andThe Institute of Electronics, Information and Communication Engineers
All rights reserved.