「様式３」P-19

マルチアパーチャカメラを用いた低 S/N 画像からのデプスマップ推定と高精細画像の復元［１］組織（以下１０.５ポイント）
代表者：小室 孝（埼玉大学理工学研究科）
対応者：香川景一郎（静岡大学電子工学研究所）
分担者：
久下沼国之（埼玉大学理工学研究科）
張 博（静岡大学創造科学技術大学院）［２］研究経過
暗闇などの非常に暗い環境の中で映像を鮮明に撮影することができれば、防犯監視や交通システム、生物の観察などに利用可能である。本プロジェクト
では、研究代表者がこれまで研究を行ってきた低S/N 画像からの画像復元技術を、静岡大学で開発された高感度・低ノイズ CMOS イメージセンサを用いたマルチアパーチャカメラに適用することで、暗い環境の中でも鮮明な映像の撮影を可能にすることを目的とする。
本プロジェクトは，本年度が二年目であった。昨年度は、マルチアパーチャ画像からのデプスマップ推定の確率モデルを用いた定式化と、確率伝搬法を用いた推定アルゴリズムの構築を行った。
その結果、マルチアパーチャカメラで撮影した画像に対し、高精度にデプスマップを推定することができた。しかし、推定した視差マップに基づく画像合成を行った
ところ、合成画像にぼけが生じる結果となった。そこで今年度は、マルチアパーチャカメラのアパーチャ毎のずれや傾きをキャリブレーションにより測定し、デプスマップ推定と画像合成に反映させることで、より高精細な合成画像の取得を行った。
さらに、デプスマップの推定精度や合成画像の画質などを総合的に評価し、マルチアパーチャカメラの実用性を示した。これらの成果を画像処理分野のトップカンファレンスである ICIP に論文として投稿した。
本研究を進める上で、マルチアパーチャカメラの仕様や撮影条件について確認する必要があり、またプロジェクトの進め方や最終的に目指す目標について、静岡大学と埼玉大学で意識合わせをする必要があった。そこで、本年度は２回の研究打ち合わせを行い（うち１回を静岡大学にて開催）、意見交換や情報共有を行った。
［３］成果（３－１）研究成果
本年度は，以下に示す研究成果を得た。
まず第１に，マルチアパーチャカメラの SNR の理論式を算出し、シングルアパーチャの場合と比較することで、その優位性を示した。
マルチアパーチャカメラのSNRは式(1)のように導出される。ここで、Mはアパーチャ数、nphはマル
チアパーチャカメラの各画素に 1 回の撮像あたりに入射するフォトン数、σ 2を画素あたりのセンサノイズの分散である。センサノイズに加えて、入射するフォトン数に比例する分散を持つ光ショットノイズが発生する。

SNR MA [dB] = 20 log10Mnph
Mσ 2 + Mnph

(1)

一方、レンズの F 値を1 / M 倍にしたシングルアパーチャカメラでは、入射するフォトン数が M 倍になり、SNR は式(2)のようになる。

SNR SA [dB] = 20 log10 =Mnph

σ 2 + Mnph(2)

現在市販されている低ノイズイメージセンサのノイズ電子数は 1 電子RMS程度であるが、研究レベル
では 0.3 電子RMSを下回っている．したがって、かなりの低照度下でも、センサノイズより光ショット。このとき、両カノイズが支配的になる（σ2<<nph）
メラのSNRはほぼ光ショットノイズのみで決まり、アパーチャ数Mのマルチアパーチャカメラと、レンズのF値が1 / M 倍のシングルアパーチャカメラのSNRはほぼ等しくなる。
しかしながら、M が大きくなるとそのような F 値のレンズを作ることは現実的に難しくなる。すなわ
ち、マルチアパーチャ化によってはじめて、そのような明るいレンズを仮想的に実現することができる。

第２に，マルチアパーチャカメラのアパーチャ毎のずれや傾きをキャリブレーションにより測定し、デプスマップ推定と画像合成に反映させた。
マルチアパーチャカメラでは中央のアパーチャを通して撮影された画像を基準画像I0とし，その周辺のアパーチャi (i=1, …, 8) を通して撮影された画像をIiとする．基準画像I0の座標 (x,y)に対応する画像Iiの座標 (xi,yi)は，xi = x +yi = y +ft x(i )= x+~tx (i )d ( x, y )Z ( x, y )ft y(i )Z ( x, y )(1)~= y + t y(i ) d ( x, y )xi = f x(i )X′+ cx(i )Z′(3)yi = f y(i )Y′+ c (yi )
Z′

(4)

(i )
r11x

Y′ =0(i )r210y(i )
220
y0
y(i )
320
y0
y

i
13(i )
x

(5)

(i )

tr
(x − c ( ) ) + ( ) (y − c ( ) ) + r ( ) +d (x, y ) (6)
()
fbffx

Z′ =(i )120
yrt(x − c ( ) ) + ( ) (y − c ( ) ) + r ( ) +d ( x, y )()fbff0x0(i )r310x

i23y(i )zrt(x − c ( ) ) + ( ) (y − c ( ) ) + r ( ) +d (x, y ) (7)()
fbffx00xi33

第３に，デプスマップの推定精度や合成画像の画質などを総合的に評価した。紙面の都合ですべては載せられないが、図１に撮影対象の被写体照度1.161[lx]（SNR: 21.4 dB）で撮影したシーンの (a)中央アパーチャ画像、(b) 推定したデプスマップ,(c) 合成画像を示す。この結果からぼけのない鮮明な合成画像が得られていることがわかる。

(2)となる．ここで，t x(i ) , t y(i ) は中央アパーチャからのアパーチャ i の位置， f はレンズの焦点距離，Z(x,y),d(x,y)は中央アパーチャ画像の座標(x,y)における深度と視差，~tx (i ) , ~ty(i ) はt x(i ) , t y(i ) を基線長 b で割った方向を表す値で， ~tx (i ) , ~ty(i ) ∈ {− 1,0,1}である．また，視差d と深度 Z の関係は d=fb/Z である．
式(1)(2)は各アパーチャがすべて理想的に配置されていると仮定している．しかし，実際のマルチアパーチャカメラは，アパーチャ一つ一つが異なる内部パラメータを持っており，ずれや傾きもあるため，この式をそのまま適用することができない．そのため，本研究では式(1)(2)にそれぞれのカメラパラメータに基づいた補正を加えるように変更した．カメラパラメータを考慮した関係式は式(1)(2)と透視投影モデルに基づく幾何学的関係から，X′ =基線長を表す．これらの関係式を，視差マップの推定と画像の合成に用いる．と導出される． f x(i ) , f y(i ) は各カメラの焦点距離，(i )(i )c x(i ) , c (yi ) は各カメラの画像中心， r11 ～r33 は各カメ
(i ) (i )ラの回転行列の要素， t x , t y は各カメラの並進ベ
クトルの要素， f，b は理想的なカメラの焦点距離と(a)

(b)

(c)
図１ 画像合成結果（３－２）波及効果と発展性など
本プロジェクトにより、マルチアパーチャカメラで撮影した画像に対し、ぼけのない鮮明な合成画像が得られることを示すことができた。これにより、マルチアパーチャカメラの実用性を示すことができた。
また、本プロジェクトを通じて高性能 CMOS イメージセンサと画像処理を融合したセンシング技術の新しい領域を開拓することができた。現在、静岡大学と埼玉大学に加え、九州大学、金沢大学の研究者も交えて同分野の発展に向けたワーキンググループを発足し、大型プロジェクトへの発展を見据えて情報交換や議論を行っている。
［４］成果資料（１）久下沼国之, 小室孝, 張博, 香川景一郎, 川人祥二: 低照度マルチアパーチャ画像からのデプスマップ推定, 映像情報メディア学会技術報告, Vol. 39,
No. 17, pp. 5-8 (IST2015-25) (2015)

出張報告
氏 名：小室 孝、久下沼国之
所 属：埼玉大学
期 間：2015/7/24～7/25
用務先：静岡大学電子工学研究所
用務内容：研究打ち合わせ
主たる対応者：香川景一郎准教授（静岡大学電子工学研究所）