映り込み除去技術の確立と画像認識への応用
研究代表者

松

岡

諒

北九州市立大学国際環境工学部情報システム工学科

1 はじめに
近年人工知能(AI)技術の発達により, 特定のシーンにおける画像認識精度がヒトの認識精度に近づきつつある. 車載カメラで取得した画像から画像認識により道路標識や白線, 歩行者や車両を検知することで自動運転を実現する取り組みが活発に行われている. また, 悪天候や災害時に人が踏み込めない危険な被災地において, カメラを搭載したドローンなどを活用することで災害状況を安全に把握し迅速な救助活動を行う取り組みも注目を集めている. 一方で, スマートフォンの普及に伴いソーシャル・ネットワーキング・サービ
ス（SNS）上への写真のアップロードが用意となっており, アップロードされた画像に自動でタグ付けや人物検出などの機能が広く普及しつつある. また, 日本語を話せない外国人観光客への観光案内に画像認識の活用が期待されている.
AI による画像認識の実用化には悪条件下での画像認識の困難さの克服が必要不可欠である. 例えば, ガ
ラス越しの撮影では, ガラスに反射した前景の映り込みによりガラスの向こう側にある物体の輪郭などの判別が難しくなる（図 1）. また, 暗所で高感度撮影により取得した画像には視認できるほど増幅されたセン
サノイズが画像に映り込む（図 2）ため, この雑音により画像認識が困難となる. 一方, 雨天時の屋外での撮影では, 雨の軌跡がシーンに映り込む（図 3）ため, 晴天時を仮定した既存の画像認識手法を用いた場合,
画像認識精度の著しく低下し誤認識の恐れがある. さらに, 市販のイメージセンサを用いた場合, ダイナミ
ックレンジの狭さに起因して黒潰れや白飛びが生じ, 明暗差の大きいシーンでは, それらの領域の画像認識が困難となる. AI などの機械学習ベースの技術を使ってこれらを克服するためには, 多様なシーンにおける膨大な学習用データが必要であり, 非現実的である. そのため, 画像認識の精度向上には, 高精度な映り込み除去技術や白飛び黒潰れの復元技術の確立が求められている.

図 1. ガラス越しの撮影

図 2. 高感度撮影

図 3. 雨天時の撮影

ガラス越しの撮影で生じる映り込みの除去に関しては, 単一画像や同一シーンを連続して撮影した複数枚の画像を用いた除去手法が検討されている[1-6]. 複数画像を用いる手法は, フレームごとに視点がずれる
ように連続して撮影することで背景成分と映り込み成分の位置ずれ量の違いなどを利用でき, 背景と映り込
みの曖昧さを軽減するための情報が多いため高精度な除去が可能であるが, 動きのあるシーンでは適用が困難であり, 本来背景として抽出されるべき車などの動物体が映り込み成分として除去されてしまう場合がある（図 4）. またフレーム間のオプティカルフローを必要とし非常に計算コストが高いといった問題がある.
単一画像を用いる手法は,背景成分と映り込み成分を区別する情報が少ないため複数画像を用いる場合と比べて精度では劣るが, フレームごとに処理が可能なため動きのあるシーンにも適用でき実用的である. そこで, 本研究では実用性を考慮し, 可視画像と奥行き画像（デプスマップ）を同時に撮影できる
RGB-D イメージセンサにより取得した RGB-D ステ
レオ画像を用いた映り込み除去手法を提案する.
本手法では, ステレオ画像を用いるため動きのあるシーンに適用可能であり, 複数枚を用いる手法に比べて画像間のキャリブレーションにか図 4. 複数画像を用いたガラスの映り込み除去
かる計算コストが低いといった利点がある.

1
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

暗所撮影におけるセンサノイズの映り込み除去に関しては, 単一画像に対する現在最高峰の非学習型ノイズ除去手法である BM3D[7]や, 動画像や CT・MRI などの多次元データに対する現在最高峰の非学習型ノイズ除去手法である VBM4D[8]が有効であることが知られている. これらの手法は, 自然画像において同じようなパターンが繰り返し同一画像内に現れるという非局所的自己相似性や, 動きの小さい同一シーンにおいて背景や被写体などのオブジェクトが時間変動によらず画像内に定常的に現れる時間的不変性に基づき局所領域（パッチ）単位でノイズ除去を行う. 一方, 日中の屋内から屋外や暗いトンネルの中から外を撮影した場
合,シーン輝度レンジはイメージセンサのダイナミックレンジを遥かに超えるため, 撮影画像中に黒潰れや白飛びが生じる. 一般に, 高ダイナミックレンジ(HDR)画像技術を用いることでこの白飛びと黒潰れ問題を解決することができる. HDR 画像とは, 自然シーンの広いダイナミックレンジの情報を保存することができる画像形式であり, 車載カメラや監視カメラ, そして, 医用画像などの様々な分野で利用されている. 一般に, HDR 画像は露光を変え撮影した多重露光画像と呼ばれる画像群を統合（図 5）することにより生成する[9-12]. ここで, 黒潰れや白飛びのない画像を得るために, 短時間露光から長時間露光までの複数の露光の異なる画像を取得する必要がある. 多重画像を統合するため, HDR 画像生成手法は本質的にランダムなノイズを低減する効果があるが, 高感度撮影で生じる強いノイズを十分に除去することができない（図 6）. また, HDR 画像生成手法の前処理や後処理として既存のノイズ除去手法を単純に適用するだけでは高品質なノ
イズの無い画像の生成は難しい. さらに, ランダムノイズに加えてインパルス性のノイズなどノイズの性質が不明な混合ノイズの除去をロバストに行うことは難しい. この問題を解決するために, 我々は多重露光画像の統合に加えてこれらの混合ノイズ成分の除去を同時に実現する新たな画像統合手法を提案する. 本手法
では, 画像の多重解像度表現であるウェーブレット変換領域においてノイズを低減するように多重露光画像を統合する最適な統合重み係数の推定を行うため, ノイズの映り込みの除去に加えて白飛びや黒潰れを同時に復元することができる.

図 5. 多重露光画像統合による HDR 画像生成

図 6. 暗所撮影における混合ノイズの例

雨の軌跡などの映り込みの除去に関しては, 前景の雨の軌跡成分と背景画像を分離するために, 自然画像と雨の軌跡成分の異なる性質に着目した除去手法がこれまで検討されている[13-15]. 具体的には, 自然画
像の局所領域は非常に滑らかであるという性質と雨の軌跡はある特定の方向にストロークが生じるといった性質（図 7）に基づいて機械学習によりそれぞれの性質をパッチ単位で促進するコスト関数を設計し, それぞれの推定した成分から観測画像が再構成されるよう制約を設けた画像分離の最適化問題を解くことで雨の軌跡除去を実現している. しかしながら, 背景成分が複雑なテクスチャを有する場合や雨の軌跡が多く画像中に含まれる場合に除去精度が著しく低下し, 雨の軌跡が強く残ってしまう. 一方, 雨天時の屋外の撮影では, 明暗差の大きいシーンが多くそのダイナミックレンジが市販のイメージセンサのダイナミックレンジを超えるような状況が起こりやすく,
白飛び黒潰れが生じやすい. 既存の雨の軌跡除去手法では, これらの画素飽和を考慮していないため, 雨の軌跡除去と白飛び黒潰れの復元を同時に実現することができない. この問題を解決するために, 我々は多重露光画像統合プロセスに雨の軌跡除去の工程を加えることで, 悪天候でかつ明暗差の大きいシーンを想定したより実用的な画像復元手法を確立
図 7. 自然画像と雨の軌跡
する. 本手法では, 検討段階として背景は静止しており雨の軌跡のみ動2
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

的に動いているシーンを想定している. このようなシーンでは, ある画素に着目したとき, 雨の軌跡はごく
一部のフレームにしか生じないため, 雨の軌跡を外れ値として扱う. これらの仮定に基づき, 黒潰れ, 白飛び, 雨の軌跡を除外する多重露光画像統合手法を提案する. これにより, テクスチャの豊富なシーンにおいては, これらのテクスチャがフレーム間で同一画素に連続して現れるため, 雨の軌跡除去においてテクスチ
ャを保存できるといった利点がある.
以上を踏まえて本研究では,スモールデータ（少数の画像）を用いて画像中からガラスの映り込みやノイズ,
雨の軌跡などの不要な映り込みを高精度に除去する凸最適化問題に基づく画像復元技術を確立し, 悪条件下においても画像認識に耐えうる高精度画像復元技術の実現を目指す. 第 2 章では, ガラス越しの撮影で生じる映り込みの除去に関してその詳細を述べる. 第 3 章では, 暗所の撮影で生じる混合ノイズの除去手法についてその詳細を述べる. さらに, 第 4 章では, 雨の軌跡の除去を実現する多重露光画像統合手法についてその詳細を述べる. 第 5 章で, これら 3 種類の映り込み除去手法の性能評価実験の結果を示し, 最後に第 6 章で全体を統括し, 本研究の成果を簡潔に述べる.

2 ガラス越しの撮影で生じる映り込み除去
2-1 映り込み除去モデル
一般に映り込みシーンは, 𝐮 = [𝐮𝑇𝑅 , 𝐮𝑇𝐺 , 𝐮𝑇𝐵 ]𝑇 , 𝐭 = [𝐭 𝑇𝑹 , 𝐭 𝑇𝑮 , 𝐭 𝑇𝑩 ]𝑇 , 𝐠 = [𝐠 𝑇𝑅 , 𝐠 𝑇𝐺 , 𝐠 𝑇𝐵 ]𝑇 をそれぞれ画素数 N の観測画像, 背景画像, 映り込み画像と定義（ここで, T はベクトルの転置操作を表す. また, RGB のカラー
画像を取り扱うため, それぞれの画像における RGB 各成分を N 次元ベクトルとして定義し, 縦に連結した 3N
次元のベクトルで画像を表現している.）すると, 𝐮 = 𝐭 + 𝐠 の観測モデルで表せる（図 8）. 多くの既存手法は, 映り込みには焦点が合っていないと仮定し, 背景画像𝐭が映り込み画像𝐠よりもエッジ強度が強い, という性質に着目している[3, 6]. 背景画像および映り込み画像の滑らかさの関係を用いることは効果的ではあるが, これらの手法では輝度や色味の変化による不自然な結果を得ることがある. さらに映り込みのエッジ強度が比較的強いとき,映り込みを十分に取り除くことができないという課題が依然として残っている.
図 8. ガラス越しの映り込み除去モデル
2-2 提案手法の概要
この問題を解決するために, 本
稿では RGB-D 画像（図 9 上部）を用いることで映り込み除去およびデプスマップ復元を同時に達成する
新たな画像復元手法を提 案する .
提案手法では, 背景画像とデプス
マップには勾配領域において強い
構造相関が存在するという性質を利用する（図 9 下部）. RGB-D 画像
におけるこれらの特性を促進する
新たな正則化を導入し, マルチモーダル構造テンソル(MSTV)と名付
けた. そしてこの MSTV に基づき,
図 9. RGB-D 画像と構造相関
映り込み除去およびデプスマップ
復元を同時に実現する最小化問題を定式化し, これを交互方向乗数法(ADMM) を用いて解く.
2-3 MSTV 正則化と最小化問題
本研究では, 構造テンソル[16]を参照画像との相関を考慮したものに拡張する. ここで, 背景画像
𝐭 (3𝑁次元ベクトル) と デ プ ス マ ッ プ 𝐫 (N 次元ベクトル) を 縦 に 連 結 し た ベ ク ト ル を u =3
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

[t 𝑇 , r 𝑇 ]𝑇 (4N 次元ベクトル)とし, 構造相関を促進するマルチモーダル構造テンソルを次式で定義する.
[𝐃v 𝐭 R ]In(n)
𝐓u = ([𝐃v 𝐭 G ]In[𝐃h 𝐭 R ]In [𝐃v 𝐫]In [𝐃h 𝐫]In[𝐃h 𝐭 G ]In [𝐃v 𝐫]In [𝐃h 𝐫]In )[𝐃v t B ]In [𝐃h 𝐭 B ]In [𝐃v 𝐫]In [𝐃h 𝐫]In
ここで, 垂直・水平方向の 1 次微分演算子を𝐃v , 𝐃h とする. さらに局所領域を正方形と仮定し, n 番目の局所領域内の画素の集合をIn , 与えられたベクトル𝐱の n 番目のサブベクトルを𝐱 𝐼𝑛 で表す. 上式における1,2 列目はそれぞれ入力画像の垂直・水平方向の勾配, 3,4 列目は参照画像の垂直・水平方向の勾配を表す.
(1)

(2)

(𝑁)

構造テンソルは 1 つの画像に対して N 個存在し, 𝐓u , 𝐓u , … , 𝐓u となる. 深度情報を画素値としてもつデプスマップのチャンネル数が 1 のため, そのチャンネルを 3 つに複製し, 1,2 列目の成分と次元を揃える.
そして, ランクの最良凸緩和である核型ノルムに基づく全変動を次のように定義する.
N(n)

MSTV(u) = Σn=1 ||𝐓u ||∗ここで, || ⋅ ||∗ は核型ノルムであり, 特異値の総和を表す. このノルムの最小化は, 構造テンソルを近似的に低ランクにする働きを有する.
観測画像とデプスマップをそれぞれ𝐭̂, 𝐫̂とする（このとき, これらは[0, 1]の範囲で正規化されているものとする.）. ここで, MSTV に基づく, 映り込み除去およびデプスマップ復元を同時に実現する凸最適化問題
を以下のように定式化する.
min T MSTV (𝐮)𝐮:=[t𝑇 r𝑇 ]s. t. 0 ≤ 𝐭 ≤ 𝐭̂, 0 ≤ 𝐫 ≤ 1, ||𝐭 − 𝐭̂||2 ≤ ϵt , ||𝐋(𝐭 − 𝐭̂)||2 ≤ ϵd , ||𝐌(𝐫 − 𝐫̂)||2 ≤ ϵr
𝐋は𝑁 × 𝑁次元のラプラシアンフィルタ行列, 𝐌は観測デプスマップの画素欠損を考慮するためのマスク行列である. 1,2 番目の制約は背景画像およびデプスマップの画素値に対する範囲制約である. また, 3, 4
番目の制約は, それぞれ, 画像と勾配領域における背景画像のデータ項, 二次微分領域における背景と観測
画像間の誤差制約である. 図 10 に示すように, 専用のイメージセンサ（本実験では, Microsoft 社の Kinectを用いる）を用いてデプスマップを取得した場合, 画素欠損がノイズとして生じる問題がある. これら欠損
画素領域では誤差を考慮しないようにデプスマッ
プのマスク付きデータ項をL2ノルム球に基づき制約として 5 番目の制約を定式化した. この制約のもとで MSTV を最小化することで欠損画素領域において周囲の観測画素値を滑らかにつなぐように画素が補間される. この最小化問題を交互方向乗
数 法 （ Alternating Direction Method ofMultipliers：ADMM）[17, 18]を用いて解くことで, 図 10. Kinect を用いた RGB-D 画像の取得例（左図：
RGB 画像, 右図：デプスマップ）
未知の背景画像tおよび復元されたデプスマップ𝐫を導出する.

3 暗所の撮影で生じるセンサノイズ除去
3-1 多重露光画像統合モデル
𝐮𝐤 (𝑘 = 1, … , 𝐾) と𝐫をそれぞれ画素値から照度値に変換された多重露光画像と HDR 画像とする（ここで,総画素数をN, 画像の枚数をKとし, これらの画像はN次元ベクトルである.）. 加えて, 𝚽を 1 レベルシフ
ト不変離散ウェーブレット変換[19], 𝚿を逆シフト不変離散ウェーブレット変換と定義する（N × N次元の単位行列を𝐈と定義すると, これらには, 𝚿𝚽 = 𝐈の関係が成り立つ.）. よって, 提案する多重露光画像統合
モデルは次式で定義できる.
𝐫 = 𝚿𝐖[(𝚽𝐮𝟏 )T ⋯ (𝚽𝐮𝐊 )T ]T ,𝐖 = [diag(𝐰𝟏 ) ⋯ diag(𝐰𝐊 )]4
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

T
T
T
T
ここで, 𝐰𝐤 はk枚目の画像に対する重みマップのベクトル形式であり, 𝐰𝐤 = [𝐰k,LL
𝐰k,LH
𝐰k,HL
𝐰k,HH
]とk枚目

の画像の各サブバンド成分{LL, LH, HL, HH}にそれぞれ重みマップを定義し, それらのベクトルを連結したものである. diag(𝐰k )はそれらの対角行列を表す. 統合前後のエネルギーを保存するために, 各重みマップ
1は, ∑Kk=1 𝐰k = 𝟏となるように正規化されなければならない. 𝐰𝐤 (k = 1, … , K)全ての要素が の場合, これらKを用いて重み付き統合を行った結果は, 入力多重露光画像の単純な加重平均となる.
本研究では, 高感度撮影時の画像の観測モデルを次式のように定義する.
𝐯k = 𝐷k (𝐮k + 𝐧k )ここで, 𝐧𝐤 はガウシアンノイズであり, 𝐷𝑘 は生成分布が不明な非ガウシアンノイズによる劣化プロセスを表す.
従来の多重露光画像統合手法では, 白飛びや黒潰れ画素を除外するように設計した重み関数を用いて統合に用いる重みマップを計算する. 具体的には, 画素値が 0 または 1 に近い場合, 小さい値を重みとして算出
し, 一方で, 飽和していない画素値が 0.5 に近ければ近いほど 1 に近い重みを算出するような hat 関数と呼ばれる山形の関数が用いられる. このように画素値の飽和にのみ着目されてヒューリスティックに設計された重み関数により得られた重みマップで画像を統合した場合, ノイズを低減する効果が非常に弱いといった問題がある. そこで, 提案手法では多重露光画像統合の際に白飛び黒潰れの復元のみならず, 統合後の画像の滑らかさを促進するために, 重みマップの推定問題を凸最適化問題として定式化し高ダイナミックレンジ
化とノイズ除去を同時に実現する多重露光画像統合手法を提案する.
3-2 提案手法の概要
図 11 に提案手法の流れを示す.
本研究の目的は, 白飛び黒潰れの復元のための多重露光画像統合とセンサノイズ除去の同時実現である. これを実現するために, 提案
手法では, ウェーブレット変換領域において多重露光画像の統合を行う. まず, 基準となる初期 HDR
画像を従来の多重露光画像統合手法[10]を用いて生成する. 統合の課程でノイズを低減する最適な重みマップは, 提案する重み最適化
図 11. 提案手法の流れのための最小化問題を初期 HDR 画
像とシフト不変ウェーブレット変換された多重露光画像を入力として解くことで推定することができる. 推
定した重みマップを用いて生成したウェーブレット変換領域の HDR 画像に対して逆シフト不変ウェーブレッ
ト変換を施すことによって, 画像領域のノイズレス HDR 画像を得る.
3-3 重みマップ推定のための最小化問題
各多重露光画像をシフト不変ウェーブレット変換により変換したものを𝐩𝐤 ≔ 𝚽𝐮𝐤 (k = 1, … , K)と置くと,多重露光画像統合モデルは次式で再定義できる.
K

𝐫 = 𝚿𝐏𝐰 ≔ 𝚿 {∑ 𝐩k ⊗ 𝐰k }k=1

ここで, 𝐰 = [𝐰𝟏 , … , 𝐰𝐊 ]は k 番目の画像をウェーブレット変換して得られた 4 成分｛LL, LH, HL, HH｝のベ
クトル𝐰k を K 枚分縦に連結した 4KN 次元のベクトルである. また, 𝐏 = [diag(𝐩𝟏 ), … ,diag(𝐩𝐊 )]はウェーブレ
ット変換した各多重露光画像を対角成分とする対角行列を横に連結した行列である. ⊗は要素ごとの乗算を表すオペレーターである.
本手法の目的は, 統合後の HDR 画像𝐫からノイズを抑制する重みマップを設計することであり, これらを実現する最適な重みマップは次式の凸最適化問題を解くことで推定することができる.

5
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

K

K

K

K

min ρδ,𝐫 (𝚿𝐏𝐰) + α||𝚿𝐏𝐰||TV s.t. 𝐰 ∈ 𝒞, ∑ 𝐰k,LL ∈ ℰ, ∑ 𝐰k,LH ∈ 𝒟, ∑ 𝐰k,HL ∈ 𝒟, ∑ 𝐰k,HH ∈ 𝒟
𝐰

k=1

k=1

k=1

k=1

ここで, αは２つのコストのバランス調整重みである.
第 1 項目は, データ項であり Huber ロス関数ρ(⋅)に基づき次式で設計されている[20]:Nρδ,𝐫 (𝐱) = ∑ Hδ (xn − rn )
n=1

ここで,

である. このロス関数は閾値δより小さい値では二次関数として機能し, 一方で閾値δより大きい値では一次関数として機能するため, 外れ値を除外する効果が高い.
第 2 項は, 画像の滑らかさを評価する正則化として有名な Total Variation：TV と呼ばれる正則化項である[21]. この正則化を加えた最小化問題を解くことで, 滑らかな画像を生成することができる.
１つ目の制約は, 重みマップの値を[0, 1]の範囲に収める効果があり, 残りの制約は各サブバンドにおける重みマップの K 枚の和が 1 になるように正規化する効果がある.
この最小化問題を主-双対近接分離法（Primal-Dual Splitting：PDS）[22]を用いて解くことで, 未知の重みマップを導出することができる. 最適な重みマップ𝐰 ∗ が求まれば, 𝐫 = 𝚿𝐏𝐰 ∗ より, ノイズレスな HDR 画
像を得ることができる.

4 雨天時の撮影で生じる雨の軌跡の映り込み除去
4-1 雨天時の画像生成モデル
本研究では, 図 12 のように背景は静止しており雨の軌跡のみ動的に動いているシーンを想定している.
このようなシーンでは, ある画素に着目したとき,雨の軌跡はごく一部のフレームにしか生じないため,
外れ値とみなせる. 加えて, 撮影シーンの明暗差は大きくそのダイナミックレンジは一般的なイメージ
センサよりも広い場合を想定している. そのため,観測画像には雨の軌跡の映り込みに加えて, 白飛び 図 12. 時間経過とともに雨の軌跡の映り込み位置
は動的に変動する.
や黒潰れによる情報欠損が生じていると仮定する.
これらの仮定に基づき, 黒潰れ, 白飛び, 雨の軌跡を除外する多重露光画像統合手法を提案する.
4-2 提案手法の概要
提案手法のフレームワークを以下に示す.
1. 多重露光画像のサブバンド分解：特定の方向に降るという雨の性質を利用し, 指向性のあるウェー
ブレット変換[19]により画像を高周波成分と低周波成分にサブバンド分解する.
2. 多重解像度領域での画像統合： 提案手法は Exposure Fusion[12]をベースとし, 画像統合を行う.
彩度・露出・コントラストを基に統合のための重みマップを作成し, 低周波成分にのみ重みづけ統合を行うことにより, 露光アンダー/オーバーによる黒潰れや白飛びの問題を解決する.
3. 雨の軌跡除去： 一方, 高周波成分は前節で述べた仮定に基づき雨の軌跡除去を考慮した統合を行う. 多重露光画像の各高周波成分の各要素において中央値を算出することにより, 外れ値である雨の軌跡成分を除去しつつ画像の詳細成分を統合する. これにより, 背景成分の詳細を保持した画像を生成する.
4. 画像の再構成： ステップ 2, 3 で統合された各サブバンド成分を, 逆ウェーブレット変換することで画像を再構成する.

6
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

4-3 各サブバンド成分の統合
入力の多重露光画像を𝐼 (𝑘) (𝑘 = 1, … , 𝐾)とする. ここで, K は画像枚数である. また, 各入力画像のサブバ∗

ンド分解をウェーブレット変換関数Ψを用いて, Ψ𝑞 (𝐼 (𝑘) ) (∗∈ {𝐿𝐿, 𝐿𝐻, 𝐻𝐿, 𝐻𝐻})と表す. 𝑞 = 1, … , 𝑄は分解レベルを表し, Qは分解数の最大レベル数である. 前節で述べたように, 低周波成分（LL 成分）は Exposure
Fusion と同様に, 次式により重みづけ統合を行う.
K
LL
LL
(k)
LL
JQ = ∑ ΨQ (Wf ) ⊗ ΨQ (I (k) )
k=1
LL

(k)

ここで, ΨQ (⋅)は最下層の LL 成分であり, JQLL は統合後の低周波数成分である. Wf は Exposure Fusion で提案された重みマップ関数を用いて導出した k 枚目の画像の LL 成分の重みマップである. このように算出された重みマップと入力画像のウェーブレット分解結果の最下層の LL 成分を統合する. 一方, 高周波数成
分{LH, HL, HH}は外れ値である雨の軌跡を統合から除外するために, それぞれ以下のように統合する.
LH

LH

H𝐿

H𝐿

𝐻H

𝐻H

JqLH = median (Ψq (I (1) ), ⋯ , Ψq (I (K) ))JqH𝐿 = median (Ψq (I (1) ), ⋯ , Ψq (I (K) ))Jq𝐻H = median (Ψq (I (1) ), ⋯ , Ψq (I (K) ))
LH

HL

HH

ここで, Ψq (⋅), Ψq (⋅), Ψq (⋅)は, q 層目のLH, HL, HH成分を表す. median(⋅)は, 中央値を算出する関数であり, これらの式は K 枚の多重露光画像の各画素における中央値を求めることで, 高周波数成分の画像統合を実現している.
最後に, 統合された各サブバンド成分JQLL , JQLH , JQHL , JQHH を用いて逆ウェーブレット変換により, 雨の軌跡の除去と白飛び黒潰れが復元された画像を得られる.

5 検証実験
5-1 ガラス越しの撮影で生じる映り込みの除去実験では, 従来手法と提案手法を人工画像および自然画像に適用し, 比較を行った. 比較する従来手法として, 映り込み除去では Li らの手法[5], デプスマップ復元で Ferstl らの手法[25] を用いた. 提案手法および従来手法におけるパラメータ設定は, 背景画像の構造をできるだけ保ちつつ, 最も見た目が良くなるよ
うにそれぞれ調整した. なお, 実験では提案手法における MSTV のパッチサイズを2 × 2とした.
（１）人工画像を用いた実験
映り込み画像の作成とデプスマップの取得には, Middlebury データセット[26]を用いた. ここで, 実
験で用いる映り込み画像は, 𝐮 = 𝐛 + s(𝐟 ∗ h)により生成した. 𝐛, 𝐟は, 背景画像と映り込み用の画像である.
また, ∗は畳み込み演算子, hはフィルタサイズが3 × 3のガウシアンカーネルである. sは映り込み成分のス
ケーリング係数である. これらを入力画像として従来手法ならびに提案手法で映り込み除去を行った. 各手法で得られた背景画像に対し定量評価を行い, 復元されたデプスマップに関しては理想画像を得られないため, 定性的な評価のみ行った. また, 定量評価には SSIM [23], SI [24] を用いた. SSIM は, 輝度, コント
ラスト, 構造の類似度を考慮したヒトの主観評価に近い定量評価手法である. 映り込みの除去においては,映り込み成分の輝度スケールが正しく推定できないことにより, 画素値のスケールが大きく理想画像からずれる場合があるため, ここでは, 構造のみの類似度を考慮する SI も評価手法として用いた. SSIM および SI
は, 1 に近ければ近いほど参照画像に類似しているという評価となる.
図 13 に人工画像を用いた映り込み除去実験結果の一例を示す. 拡大図を見ると従来手法よりも映り込みを高精度に除去できていることが分かる. また, 物体の境界付近が従来手法では曖昧になっているが, 提案
手法では構造相関が促進されているため境界がはっきりとしている. また, デプスマップの復元結果より,

7
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

入力画像
従来手法
提案手法
図 13. 人工画像を用いた映り込み除去結果の一例（上段：映り込み除去結果, 下段：デプ
スマップ復元結果）
従来手法では画素欠損が補間できているが, 映り込みの生じた RGB 画像をガイドとしてデプスマップを復元しているため, 映り込みのエッジ付近で階段状の疑似エッジが生じている. 一方, 提案手法では, これらのアーティファクトを生じず画素欠損を高精度に補間できている.
（2）自然画像を用いた実験
本実験では, Microsoft Kinect v2 を用いて薄さ 5mm のガラス越しに RGB-D 画像を実際に取得し, 従来手法および提案手法を適用した. 理想的な背景画像は, ガラスを取り除き撮影することで取得している.
図 14 に自然画像を用いた映り込み除去実験結果の一例を示す. 拡大図を見ると既存手法では映り込みは除去できているが物体の輪郭やテクスチャが消えていることが分かる. しかし, 提案手法では高精度な映り込み除去に加え, 構造のエッジやテクスチャの維持をできていることが分かる.

入力画像
従来手法
提案手法
図 14. 自然画像を用いた映り込み除去結果の一例（上段：映り込み除去結果, 下段：デプ
スマップ復元結果）（3）定量評価
SSIM と SI による映り込み除去の定量評価結果を表 1 と表 2 に示す. 表 1 より, ほとんどのシーンで提案手法が従来手法よりも高い SSIM 値を示している. また, 表 2 より, 全ての画像において提案手法が既存手法よりも高い SI 値を示している. 以上の実験結果より, 提案手法では映り込み除去とデプスマップ復元を同時に実現し, 既存手法と比較してロバストな復元が可能であることを確認した.

8
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

表 1. SSIM による定量評価結果

表 2. SI による定量評価結果

5-2 暗所の撮影で生じるセンサノイズの除去実験では, 従来手法と提案手法を人工画像および自然画像に適用し, 比較を行った. 比較する従来手法として, Debevec らの HDR 画像生成手法[10]（従来手法 1）, HDR 画像生成に関する著者らの先行研究[27]（従来手法 2）, 最高峰のノイズ除去手法 BM3D[7]を Debevec らの前処理として用いる手法（従来手法 3）, または後処理として用いる手法（従来手法 4）を用いた. 提案手法および従来手法におけるパラメータ設定は,HDR 画像の画質が最も良くなるように調整した.
（1）人工画像を用いた実験
定量評価のために, 以下のようにノイズレスな HDR 画像を正解画像として用意した
1. 入力多重露光画像の取得：ノイズを抑圧するために ISO 感度を 100 に設定し, 長時間露光撮影を行った. EV 値を-2, 0, 2 と設定し露光時間を変えることによって, 低露光, 中露光, 高露光の 3 枚の画像を取得した. 手ブレによるボケを避けるために三脚を用いて撮影を行った.
2. ノイズなし HDR 画像の生成：ステップ 1 で得られたノイズのない多重露光画像をシンプルに従来のHDR 画像生成手法[10]を用いて統合し, ノイズのない HDR 画像を生成した.
定量評価のために, 本実験では生成した HDR 画像に対して Nonlinear SNR（NSNR）を適用した. NSNR は,HDR 画像に対して, トーンマッピングを施した後に SNR を計算する手法である. 本実験では, トーンマッピ
ング手法として Reinhard らのローカルオペレーター[28]を用いた. NSNR は, 画質が良いほど高い数値となる.
実際の暗所撮影では, ガウシアンやポアソンノイズなどのランダムノイズに加えて, 非ガウシアンなノイズが画像に重畳する. 提案手法のロバスト性を評価するために, 混合ノイズを人工的に作成し上記で取得したノイズのない多重露光画像に加えることによって人工画像を生成した. 混合ノイズとしては, ガウシアン
ノイズやポアソンノイズにインパルスノイズ（ごま塩ノイズ）を加えた二種類を用意した.
人工画像を用いたガウシアン/ポアソン＋インパルス混合ノイズ除去結果の一例を図 15, 16 にそれぞれ示
す. これらの図より, 従来手法 1 では全くノイズを低減できておらず, 従来手法 2 ではインパルスノイズが十分に除去されていないことがわかる. 従来手法 3 と従来手法 4 では, 最高峰のノイズ除去手法 BM3D を多重露光画像統合の前処理と後処理で適用しているため, ノイズ自体は低減できているが, 過平滑化によって画像本来のテクスチャが失われている. 一方, 提案手法では, 混合ノイズを十分に除去しかつテクスチャなどの画像本来の構造を保持できていることがわかる. また, NSNR による定量評価結果においても提案手法が最も高い数値となっている.
NSNR によるガウシアン/ポアソン＋インパルス混合ノイズ除去の定量評価結果を表 3 と表 4 に示す.

参照画像

従来手法 1 従来手法 2 従来手法 3 従来手法 4 提案手法
20.53
24.19
22.95
25.09
26.05
図 15. 人工画像（ガウシアン＋インパルス混合ノイズ）を用いたセンサノイズ除去結果の一例とその NSNR[dB]9
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

参照画像

従来手法 1 従来手法 2 従来手法 3
従来手法 4 提案手法
22.72
24.47
23.25
23.47
26.54
図 16. 人工画像（ポアソン＋インパルス混合ノイズ）を用いたセンサノイズ除去結果の一例とその NSNR[dB]
表 3. ポアソン＋インパルス混合ノイズ除去結果のNSNR[dB]による定量評価結果

表 2. ポアソン＋インパルス混合ノイズ除去結果のNSNR[dB]による定量評価結果

ほとんどのシーンで, 提案手法が最も高い数値を有していることがわかる. これら定性・定量評価結果から,提案手法は多重露光画像統合においてロバストに混合ノイズを除去することができ, 従来手法を大きく上回るノイズ除去性能を有することが確認できた.
（2）自然画像を用いた実験
実画像を用いた実験として, 高感度撮影で取得したノイジーな多重露光画像を入力とした場合の, 従来手法および提案手法の結果画像の比較を行った. ここでは, ISO 感度を 12800 とノイズが過度に強調される感度設定で, 露光時間を短く設定し多重露光画像の撮影を行った. EV 値を-2, 0, 2 と設定し露光時間を変えることによって, 低露光, 中露光, 高露光の 3 枚の画像を取得した.
自然画像を用いたノイズ除去結果の一例を図 17 に示す. この図より, 従来手法 1 では全くノイズを低減

参照画像

従来手法 1
従来手法 2 従来手法 3 従来手法 4
図 17. 自然画像を用いたセンサノイズ除去結果の一例

提案手法

10
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

できておらず, 従来手法 2 ではインパルスノイズが十分に除去されていないことがわかる. 従来手法 3 と従来手法 4 では, 最高峰のノイズ除去手法 BM3D を多重露光画像統合の前処理と後処理で適用しているため,ノイズ自体は低減できているが, 過平滑化によって画像本来のテクスチャが失われ, また, 画像中に含まれる文字が潰れてしまっている. 一方, 提案手法では, 混合ノイズを十分に除去しかつテクスチャなどの画像
本来の構造を保持できており, また, 画像中の文字も視認できるレベルで先鋭さを保持できていることがわかる.
本実験結果に対して文字認識を行った結果を図 18 に示す. ここでは, 人工知能技術による有名な画像認識サービスである Google Lens
を使って, 画像から文字検出を行っている.
図 18 より, 従来手法では一部の文字が認識できていないことがわかる. 一方で, 提案手法
図 18. 文字認識結果（左図：従来の HDR 画像, 右図：提では従来手法で認識できている文字に加えて案手法により生成した HDR 画像）
従来手法の結果画像から認識できなかった文
字「さ」を認識することができている.
5-3 雨天時の撮影で生じる雨の軌跡の映り込みの除去実験では, 従来手法と提案手法を多くの人工画像に適用し, 比較を行った. 比較する従来手法として, 多重露光画像統合手法の Exposure Fusion [12]と Li らの手法[14]を Exposure Fusion で得られた統合画像に適用する手法を用いた. 提案手法および従来手法におけるパラメータ設定は, 背景画像の構造をできるだけ保ちつつ, 最も見た目が良くなるようにそれぞれ調整した.
人工画像の生成は, HDR 画像のデータセット[29]から 28 シーンを用い, それらの HDR 画像から低ダイナ
ミックレンジ（LDR）画像を以下の手順で生成した.
1. 多重露光画像の生成：HDR 画像に対して, EV 値が-4, -3, -2, -1, 0, 1, 2, 3, 4 となるように画素値のクリッピングを行い, 擬似的に白飛びや黒潰れが生じた LDR 画像フレームを取得した. 各シーンで合計 9 枚の画像を多重露光画像として用意した. この LDR 画像フレームに対して, Exposure Fusion を適用することで, 雨の軌跡除去実験のための正解画像を作成した.
2. 雨の軌跡の生成：ランダムノイズから数%を抽出しそれらを 1 に近い値にマッピングした後, 特定の方向へのブレを施すブレフィルタを適用し, 雨の軌跡成分を人工的に生成した. この雨の軌跡成分を多重露光画像に加算することで, 人工的に雨の軌跡が映り込んだ多重露光画像を作成した. 図 19 に入力
画像の一例を示す.
入力の多重露光画像に対して, 従来手法と提案手法を適用した結果の一例を図 20 に示す. ここでは, 正解画像の Exposure Fusion による統合結果（図 20(a)）, 入力画像の Exposure Fusion による統合結果（図20(b)）, Exposure Fusion の統合結果に対して Li らの雨除去手法[14]を適用した結果（図 20(c)）, 入力画
像に提案手法を適用した結果（図 20(d)）をそれぞれ示している. 図より, 通常の多重露光画像統合では,雨の軌跡を十分に低減できず, その結果に雨の軌跡除去手法を適用しても完全に映り込みを除去することができずまばらに雨の軌跡が残ってしまうことがわかる. 特に赤枠や青枠で囲んだ領域ではほとんど除去できていない. 一方, 提案手法の結果では雨の軌跡を十分に除去できており, さらに白飛びや黒潰れのない画像を生成できている.

図 19. 雨の軌跡除去実験における入力画像の一例

11
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

図 20. 提案手法による雨の軌跡除去結果の一例
自乗誤差平均（LMSE）[30]と SSIM による定量評価結果を表 5 に示す. ここでは, 従来手法と提案手法の28 シーンへの適用結果画像の定量評価結果の平均スコアをまとめている. また, LMSE では理想画像との誤差が小さいほど, SSIM では理想画像との構造の類似度が高いほどスコアが 1 に近づく. 表 5 より, 提案手法は両方の定量評価において最も高いスコアとなっていることがわかる.
以上より, 定性・定量評価の双方において提案手法が従来手法を上回る雨の軌跡の映り込み除去と白飛び
黒潰れの復元性能を有していることが確認できた.
表 5. LMSE と SSIM の平均値の比較

画像中に文字が含まれるシーンを用いて雨の軌跡除去を行った結果に対して, 文字認識を行った結果を図21 に示す. ここでは, 人工知能技術による有名な画像認識サービスである Google Lens を使って, 画像から文字検出を行っている. 図 21 より, 従来手法では文字が認識できていないことがわかる. 一方で, 提案
手法では画像左中部（赤丸で囲んだ領域）にある「CAT」という文字を認識することができている.

図 21. 文字認識結果（左図：従来手法, 右図：提案手法）

6 結論
本研究では, スモールデータ（少数の画像）を用いて画像中からガラスの映り込みやノイズ,雨の軌跡などの不要な映り込みを高精度に除去する凸最適化問題に基づく画像復元技術を確立し, 悪条件下においても画像認識に耐えうる高精度画像復元技術を確立した. また, 従来手法との比較検証実験を通してその有効性を確認した.
今後は, これらの異なる映り込み除去技術を統合したフレームワークを検討し, 実用化に耐えうるロバス
トな映り込み除去技術の確立を目指す. また, 計算コストの削減やより効率的なアルゴリズムの開発を行う.

【参考文献】[1] A. Levin and Y. Weiss, “User assisted separation of reflections from a single image using a sparsity
prior,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 29, no. 9, pp. 1647-1654, Sep. 2007.

12
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

[2] Y. Weiss, “Deriving intrinsic images from image sequences,” in Proc. IEEE Int. Conf. Comput. Vis.
(ICCV), vol. 2, pp. 68-75 vol.2, 2001.
[3] Y. Li and M. S. Brown, “Exploiting reflection change for automatic reflection removal," in Proc.
IEEE Int. Conf. Comput. Vis. (ICCV), pp. 2432-2439, 2013.
[4] X. Guo, X. Cao, and Y. Ma, “Robust separation of reflection from multiple images,” in Proc. IEEE
Conf. Comput. Vis. Pattern Recogni. (CVPR), pp. 2195-2202, 2014.
[5] Y. Li and M. S. Brown, “Single image layer separation using relative smoothness," in Proc. IEEE
Conf. Comput. Vis. Pattern Recogni. (CVPR), pp. 2752-2759, 2014.
[6] Y. Shih, D. Krishnan, F. Durand, and W. T. Freeman, “Reflection removal using ghosting cues,” inProc. IEEE Conf. Comput. Vis. Pattern Recogni. (CVPR), pp. 3193-3201, 2015.
[7] K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, “Image denoising by sparse 3D transformdomain collaborative filtering,” IEEE Trans. Image Process., vol. 16, no. 8, pp. 2080–2095, 2007.
[8] M. Maggioni, G. Boracchi, A. Foi, and K. Egiazarian, “Video denoising, deblocking, andenhancement through separable 4-d nonlocal spatiotemporal transforms,” IEEE Trans. Image
Process., vol. 21, no. 9, pp. 3952–3966, Sept 2012.
[9] T. Mitsunaga and S. Nayar, “Radiometric self calibration,” in Proc. IEEE Conf. Comput. Vis.
Pattern Recogni. (CVPR), vol. 1, 1999, pp. 374–380.
[10] P. E. Debevec and J. Malik, “Recovering high dynamic range radiance maps from photographs,”
in ACM Trans. Graph., 1997, pp. 369–378.
[11] L. Zhang, A. Deshpande, and X. Chen, “Denoising vs. deblurring: HDR imaging techniques using
moving cameras,” in Proc. IEEE Conf. Comput. Vis. Pattern Recogni. (CVPR), June 2010, pp. 522–
529.
[12] T. Mertens, J. Kautz, and F. V. Reeth, “Exposure fusion,” in 15th Pacific Conf. Comput. Graph.
Appl.., Oct. 2007, pp. 382–390.
[13] L. Kang, C. Lin and Y. Fu, “Automatic Single-Image-Based Rain Streaks Removal via Image
Decomposition,” in IEEE Transactions on Image Processing, vol. 21, no. 4, pp. 1742-1755, 2012.
[14] Y. Li, R. T. Tan, X. Guo, J. Lu and M. S. Brown, “Single Image Rain Streak Decomposition Using
Layer Priors,” in IEEE Transactions on Image Processing, vol. 26, no. 8, pp. 3874-3885, 2017.
[15] Y. Chen and C. Hsu, “A Generalized Low-Rank Appearance Model for Spatio-temporally
Correlated Rain Streaks,” 2013 IEEE International Conference on Computer Vision, pp. 1968-1975,
2013.
[16] S. Lefkimmiatis, A. Roussos, P. Maragos, and M. Unser, “Structure tensor total variation,”
SIAM J. Imag. Sci., vol. 8, no. 2, pp. 1090–1122, 2015.
[17] S. Ono, K. Shirai, and M. Okuda, “Vectorial total variation based on arranged structure tensor
for multichannel image restoration,” in Proc. IEEE Int. Conf. Acoust. Speech Signal Process.
(ICASSP), March 2016, pp. 4528–4532.
[18] D. Gabay and B. Mercier, “A dual algorithm for the solution of nonlinear variational problems
via finite element approximation,” Comput. Math. App., vol. 2, no. 1, pp. 17 – 40, 1976.
[19] S. Mallat, AWavelet Tour of Signal Processing, Third Edition: The Sparse Way, 3rd ed. Academic
Press, 2008.
[20] P. J. Huber, “Robust estimation of a location parameter,” Ann. Math. Statist., vol. 35, no. 1, pp.
73–101, 1964.
[21] L. I. Rudin, S. Osher, and E. Fatemi, “Nonlinear total variation based noise removal algorithms,”
Phys. D, vol. 60, no. 1-4, pp. 259–268, 1992.
[22] L. Condat, “A primal-dual splitting method for convex optimization involving Lipschitzian,proximable and linear composite terms,” J. Optim. Theory Appl., vol. 158, no. 2, pp. 460–479, 2013.
[23] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, “Image quality assessment: From error
visibility to structural similarity,” Trans. Img. Proc., vol. 13, no. 4, pp. 600-612, Apr. 2004.

13
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

[24] R. Wan, B. Shi, L. Duan, A. Tan, and A. C. Kot, “Benchmarking single-image reflection removal
algorithms,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2017, pp. 3942-3950.
[25] D. Ferstl, C. Reinbacher, R. Ranftl, M. Ruether, and H. Bischof, “Image guided depth upsampling
using anisotropic total generalized variation,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec.
2013, pp. 993-1000.
[26] D. Scharstein, R. Szeliski, and R. Zabih, “A taxonomy and evaluation of dense two-frame stereo
correspondence algorithms,” in Proc. IEEE Works. Stereo Multi-Baseline Vis. (SMBV 2001), 2001,
pp. 131-140.
[27] R. Matsuoka, T. Yamauchi, T. Baba, and M. Okuda, “Weight optimization for multiple image
integration and its applications,” IEICE Trans. Inf. & Syst., vol. E99.D, no. 1, pp. 228–235, 2016.
[28] E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, “Photographic tone reproduction for digital
images,” ACM Trans. Graph., vol. 21, no. 3, pp. 267–276, 2002.
[29] Funt, B. and Shi, L., “The Effect of Exposure on MaxRGB Color Constancy,” Proc. SPIE Volume7527, Human Vision and Electronic Imaging XV, San Jose, Jan. 2010.
[30] R. Grosse, M. K. Johnson, E. H. Adelson and W. T. Freeman, “Ground truth dataset and baseline
evaluations for intrinsic image algorithms,” 2009 IEEE 12th International Conference on
Computer Vision, 2009, pp. 2335-2342.

〈発
題
名Transformed-Domain Robust MultipleExposure Blending with Huber Loss
Rain Streak Removal Using Under-/OverExposed Images
雨の軌跡除去を考慮した露光合成に関する考察
High Dynamic Image Generation Basedon Convolutional Weight Optimization
Robust to Mixed Noise Removal
Reflection Removal Using RGB-D Images
深度マップを用いた映り込み除去に関する
一検討

表

資

料〉

掲載誌・学会名等

発表年月

IEEE ACCESS

2019. 07

IEEE Global Conference on
Consumer Electronics (GCCE)
電子情報通信学会ソサイエティ大会 2019Asia-PacificSignalandInformation
Processing
Association, Annual Summit andConference (APSIPA ASC)IEEE International Conference
on Image Processing (ICIP)
電子情報通信学会技術研究報告書

2019. 102019. 092018. 112018. 102018. 0614
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度