平成 29 年度 修士論文

CG 画像向けの True Color から Deep
Color への Inverse Tone Mapping の開発

電気通信大学 情報理工学研究科
情報・ネットワーク工学専攻
学籍番号 1631110
氏名 難波 宗介
主任指導教員 成見 哲 教授
副指導教員 中山 泰一 教授
平成 30 年 1 月 29 日

概要
近年のディスプレイは多くの面で性能が向上している．表示色数の点で見ると，従来のディスプレイは RGB 各 8bit の True Color での表示にしか対応していないが，RGB 各 10bit の Deep Color での表示に対応したディスプレイも出てきている．True Color では約 1677 万色を表現することができるが，緩やかなグラデーション部分にバンディングと呼ばれる縞模様が見えたり，表現できる最大の明るさが十分でないために表示が不自然に見えるという問題があった．
Deep Color は表現できる最大の明るさは True Color と同じだが，表現可能な色数は約 10 億 7000 万色であり，True Color よりも繊細な色を表現することができる．True Color はコンピュータ内部の色表現として一般に広まっているた
め，画像や映像といったコンテンツは True Color で保存されていることが多い．True Color のコンテンツを Deep Color 表示対応のディスプレイで表示する際，単純な変換では Deep Color の繊細な色を表現することができない．本研
究では，CG で作成した画像を対象に True Color から Deep Color への Inverse
Tone Mapping の開発を行った．
本研究での Inverse Tone Mapping では，まず True Color 画像に対して単純な Inverse Tone Mapping を適用し，中間 Deep Color 画像を得る．この中間
Deep Color 画像に対して補正処理を行うことで Deep Color の繊細な色を復元し，最終的な Deep Color 画像を得る．True Color 画像は Deep Color 画像の下
位 2bit を丸め込んだものと仮定すると，各画素で 2, 1, 0, −1 のいずれかの誤差が発生する．この誤差は周囲との輝度差が大きいエッジ部分では気にならないが，緩やかなグラデーション部分では輝度差でステップ状のバンディングが発生する．エッジは補正せずに，ステップ状の部分を緩やかなグラデーションに戻すような補正処理を行う．そのような補正処理には非線形の拡散方程式を利用することができ，その代表として PMD がある．しかし PMD には問題があるため，本研究では PMD の補正式を元にして新たな補正式を設計した．CG で作成した画像を前提とすることで，ノイズや色むら等の要素は無視した．
PSNR を使って本手法の性能を評価した結果，CG で作成した画像では本手法で PSNR を向上させることができたが，写真画像では PSNR が低下した．写真画像では元々ステップ状の部分や輝度の揺らぎ，ノイズ等が多く存在し，本手法によってそれらがグラデーションに補正されることで，PSNR が低下したと考えられる．写真画像でも PSNR 値を向上させるためには，輝度の揺らぎやノイズ等も考慮した補正処理を設計する必要がある．また，輝度揺らぎやノイズ等が存在しない，理想的な写真画像を得ることができれば，本手法によって
PSNR の向上を期待することができる．

1

目次
1

はじめに
1.1 研究背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4
4
5
6

2

Deep Color と Inverse Tone Mappping
2.1 True Color と Deep Color . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Tone Mapping と Inverse Tone Mapping . . . . . . . . . . . . . . . . .

7
7
9

3

既存研究・既存技術
3.1 Inverse Tone Mapping . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 ヒストグラムを利用した Inverse Tone Mapping . . . . . . . . . . . .
3.3 超解像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4 非線形拡散 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11
11
13
14
15

4

提案手法
4.1 補正処理の方針 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 線形拡散 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3 PMD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4 本手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.5 L の逆符号で微小定数加算 . . . . . . . . . . . . . . . . . . . . . . . .

17
17
17
17
18
18

5

実装
5.1 単純 Inverse Tone Mapping . . . . . . . . . . . . . . . . . . . . . . . .
5.2 微分から差分への変換 . . . . . . . . . . . . . . . . . . . . . . . . . .
5.3 パラメータの値の導出 . . . . . . . . . . . . . . . . . . . . . . . . . .
5.4 補正処理の適用回数 . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.5 画像周辺部の計算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.6 並列化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.7 カラー画像への対応 . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.8 拡張する bit 数の可変化 . . . . . . . . . . . . . . . . . . . . . . . . .
5.9 実装言語 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20
20
21
22
22
24
24
24
26
26

6

評価
6.1 評価用画像の準備 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2 他手法と本手法との比較 . . . . . . . . . . . . . . . . . . . . . . . . .
6.3 誤差の可視化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.4 計算速度の測定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27
27
28
30
30

2

6.5
6.6
7

10bit 以外の色深度での結果 . . . . . . . . . . . . . . . . . . . . . . . 43
考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

おわりに46
7.1 まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
7.2 今後の課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

3

1

はじめに

1.1

研究背景

近年，ディスプレイの性能向上 (表 1) により，従来よりも綺麗で躍動感のある表示
を楽しむことができるようになってきている．ディスプレイの性能を評価する上で，パネルの解像度は大きな論点となる．解像度が高いと，オブジェクトの輪郭がギザギザに見えたりぼやけて見えたりすることがなく綺麗にくっきり見えるので，低解像度ディスプレイと高解像度ディスプレイの差ははっきり分かり易い．近年ではフル HD や 4K のような高解像度のディスプレイが一般に普及している．さらに，複数のディスプレイを並べて 1 枚の大きなディスプレイを作るタイルドディスプレイ
システムを利用すれば，8K や 16K 以上の表示も可能である．人間の視覚は 0.3 分程
度の幅を見分けられるとされており [1]，視野角を 90 度とすると約 3 億 2400 万画素
相当，120 度で約 5 億 7600 万画素相当になる．16K の解像度は約 5 億 3000 万画素である．
ディスプレイの性能を評価する上では，リフレッシュレートも大きな論点となる．
我々が一般に目にする地上デジタル放送は約 30Hz である．人間の視覚は 50ms から
100ms 程度の時間分解能があるとされており，30Hz もあれば十分に思われるかもし
れないが，脳は一連の映像の動きを補完して認識することができる．そのため 60Hz
や 120Hz のような高周波であっても，一瞬一瞬では連続した 2 枚のフレームの前後関係を認識できなくても，実際には滑らかな動きとして感じることができる．ディ
スプレイのリフレッシュレートと入力映像のフレームレートが違っていると，あるフレームを表示している途中で次のフレームに切り替わって画面の上下で別のフレームが表示されてしまう Tearing と呼ばれる現象が発生するが，入力映像のフレームレートにディスプレイのリフレッシュレートを同期する機能も開発されている [2][3]．
表示色もまたディスプレイの性能を評価する上での論点となる．旧規格の High
Color では約 6 万色，現在主流の True Color では約 1677 万色，新しい規格の Deep
Color では 10 億色以上の色を表現できる．これらの規格では一定の輝度ダイナミッ
クレンジ内の色をどれだけ細かく繊細に表現できるかを定めるものであるが，輝度表 1: ディスプレイの性能向上 (参考文献 [4][5][6] より引用）
モデル
発売日
解像度
最大リフレッシュレート
応答速度
コントラスト比
最大輝度
表示色
HDR 対応IO-Data LCD-A155GW
2005 年
1024x768
75.0 Hz
16 ms
400:1
250 cd/m2
1619 万色×4

BenQ SW271 ASUS ROG SWIFT PG27VQ
2017 年2017 年
3840x2160
2560x1440
75.0 Hz
165Hz
12 ms
1 ms
1000:1
1000:1350 cd/m2
400 cd/m2
10 億 7000 万色
1677 万色○×のダイナミックレンジそのものを広げる規格である HDR では，より暗い・明るい色を表現することができる．
その他，コントラストが高ければ同じ色相の色でも明暗差を大きく表現できるので，映像がくっきり見える．また，ゲーム用のディスプレイでは応答速度も非常に
速い．

1.2

目的

ディスプレイの性能向上は目覚ましいが，その性能を最大限に活用できるような映像コンテンツはまだ少ない．また，現在までに保存されてきた動画像は従来規格で保存されているため，それを新規格に対応したディスプレイで表示しても，旧規格相当の表現で表示されるだけである．旧規格の入力を新規格向けに変換・補正する機能が付いたディスプレイも存在するが，変換・補正後の画像を保存して再利用することはできない．
本研究ではディスプレイの性能の中でも表示色に着目する．現在広く用いられている映像コンテンツは True Color であるが，ディスプレイの方は Deep Color に対応するものも増えてきている．そこで CG 画像向けの，True Color 画像から Deep
Color の繊細な色を再現できるような変換・補正手法の開発を目的とする．

5

1.3

本論文の構成本論文の構成及び内容は以下の通り．
第 1 章 はじめに本研究の背景と目的について記述する．
第 2 章 Deep Color と Inverse Tone Mappping
本研究に関連する，Deep Color や Inverse Tone Mapping 等の用語解説を行う．
第 3 章 既存研究
本研究に関連する，Inverse Tone Mapping や画像処理の研究について紹介する．
第 4 章 提案手法
本研究で設計した Inverse Tone Mapping のアルゴリズムについて記述する．
第 5 章 実装
アルゴリズムの実装について記述する．
第 6 章 評価
提案手法の評価手法，評価結果，考察について記述する．
第 7 章 おわりに本研究のまとめ及び今後の課題について記述する．

6

2

Deep Color と Inverse Tone Mappping

2.1

True Color と Deep Color

True Color とはコンピュータ内部の色表現として一般的な規格であり，RGB 各
8bit の色深度で表現される．現在までに保存されてきた動画像のほとんどは True
Color である．True Color では 1670 万色を表現できるため動画像の表示には十分とされていたが，明るい色や暗い色の表現能力が不足しており，表示が自然に見えないという問題があった．また，色が緩やかに変化するグラデーション部分にバンディン
グ (図 1) と呼ばれる縞模様が発生する場合がある．バンディングが発生すると，シュブルール錯視と呼ばれる色の帯の境界で濃淡が強調されて見える現象も発生する．
Deep Color とは True Color よりも繊細な色が表現可能な規格であり，RGB 各
10bit 以上の色深度で表現される．表現可能な最大・最小の明るさは True Color と同一だが，グラデーションをより滑らかに表現できるため True Color で発生していた
バンディングを軽減・解消することができる．HDMI1.3 の規格内で Deep Color への対応が行われたため，昨今では HDMI 入力に対応したディスプレイであれば Deep
Color 入力に対応しているが，ディスプレイパネルが 10bit 以上に対応していなければ Deep Color の繊細な色を表示することはできない．
類似の規格として HDR が挙げられる．True Color や Deep Color における輝度のダイナミックレンジは SDR という従来規格を前提としており，その幅は 0.05cd/m2
から 100cd/m2 までである．HDR ではダイナミックレンジが大幅に拡張されており，その幅は 0.0005cd/m2 から 10000cd/m2 までであり，肉眼で見たときに近い表現を行うことができる．昨今では HDR 入力に対応したテレビやディスプレイが数多く出てきているが，HDR のダイナミックレンジを完全に表現できるディスプレイは現状存在しない．人間の視覚は 1012 cd/m2 の明るさまで認識できるとされている．
True Color と Deep Color，HDR の違いのイメージは図 2 となる．

7

図 1: バンディングの例 (参考文献 [7] より引用)．元の滑らかなグラデーション (右)がバンディングによりステップ状になっている．シュブルール錯視により色の帯の境界で色の濃淡が強調されて見える．

図 2: True Color，Deep Color，HDR の違い

8

2.2

Tone Mapping と Inverse Tone Mapping

Tone Mapping とは，高ダイナミックレンジの画像を低ダイナミックレンジの画像に変換する操作である．例えばカメラのセンサデータや CG を利用すれば高ダイナ
ミックレンジの画像を作成することができるが，一般的なディスプレイや印刷機，プ
ロジェクター等では高ダイナミックレンジの色を表示することはできないので，ダイナミックレンジを圧縮して低ダイナミックレンジの色に変換する必要がある．この際，高ダイナミックレンジの色の輝度を単純に線形変換する処理では全体が極端に明るく・暗くなったり，白飛び・黒つぶれや局所の明暗差の歪みが発生したりと，表示が不自然になることがある．Tone Mapping のアルゴリズムでは，全体の明るさを自然にする Global Operator と局所的な明暗差を制御する Local Operator を組
み合わせることで，画像内のオブジェクトの見え方を変えずにダイナミックレンジ
を圧縮することができる．
Inverse Tone Mapping とは，Tone Mapping の逆操作であり，低ダイナミックレンジの画像から Tone Mapping で失われた情報を推測して高ダイナミックレンジの画像を生成する．Tone Mapping の Global Operator と Local Operator は非線形な変換操作が一般的であり，さらに通常は非可逆の操作であるため，ある低ダイナミックレ
ンジ画像に適用された Tone Mapping のアルゴリズムが既知であっても，その高ダイ
ナミックレンジの画像を推測することは難しい．近年のディスプレイの Deep Color
対応や HDR 対応，高ダイナミックレンジの画像の Image Based Lighting への利用によって Inverse Tone Mapping の需要は高まってきている．Image Based Lightingとは，CG 空間の壁に高ダイナミックレンジ画像を貼り付け，その画素を光源とすることで，空間内に設置したオブジェクトに実際にそのシーンの中にあるかのような自然な影や反射を作る技術である．
関連技術として Dithering が挙げられる．Dithering とは，ある信号を量子化する
際に，量子化誤差を軽減するための手法である．例として，グレースケール画像を白黒画像に変換する際に，閾値を使って画素を白黒に割り振ると画像のほとんどが白飛び・黒つぶれしてしまうが，Dithering を利用すれば画像のディテールをある程度維持することができる．単純な Tone Mapping ではバンディングが発生してしまう場合に，Dithering を利用すれば見かけ上ではバンディングを軽減することができる．
一般的には HDR から True Color への変換を Tone Mapping，True Color から HDRへの変換を Inverse Tone Mapping と呼ぶが，本研究における Tone Mapping は Deep
Color から True Color への変換，Inverse Tone Mapping は True Color から Deep
Color への変換であるとしている (図 3)．

9図 3: 本研究における Inverse Tone Mapping10

3

既存研究・既存技術

3.1

Inverse Tone Mapping

Francesco Banterle らによる研究 [8] では，Global Operator の逆操作と光源推定によって Inverse Tone Mapping を行った．Global Operator として，変換式の逆転が容易である Photographic Tone Reproduction[9](図 4) を採用した．アルゴリズム
としては，まず Photographic Tone Reproduction の変換式を逆転し，低ダイナミッ
クレンジ画像から初期高ダイナミックレンジ画像を生成する．次に光源の位置を推定し，拡張マップを作成する (図 5)．最後に低ダイナミックレンジ画像と初期高ダイナミックレンジ画像の間で拡張マップを重みとした補間処理を行い，最終的な高ダイナミックレンジ画像を作成する．Image Based Lighting への応用も行っている(図 6)．この研究は True Color 画像から HDR 画像を得るためのものであり，True
Color から Deep Color への変換には向かない．

図 4: 線形 Tone Mapping(上) と Photographic Tone Reproduction(下) (参考文献 [9]
より引用)

11

図 5: 拡張マップの生成 (参考文献 [8] より引用)．(a) は低ダイナミックレンジ画像，(b) は推定した光源から生成した拡張マップ，(c) はフィルタリング後の拡張マップ．

図 6: Image Based Lighting への応用 (参考文献 [8] より引用)．(a) は元の高ダイナ
ミックレンジ画像を使用，(b) は低ダイナミックレンジ画像を使用，(c) は推定した
高ダイナミックレンジ画像を使用．(d) は (a) と (c) との間の誤差が大きい部分の可
視化．

12

3.2

ヒストグラムを利用した Inverse Tone Mapping

竹内健らによる研究 [10] では，同じシーンであれば Deep Color 画像のヒストグラ
ムと True Color 画像のヒストグラムは同等の形状となることを利用して True Colorから Deep Color への Inverse Tone Mapping を行った (図 7)．アルゴリズムとしては，
はじめに True Color 画像から線形 Inverse Tone Mapping により初期 Deep Color 画
像を生成する．次に，初期 Deep Color 画像に対して平滑化処理を行い，平滑化画像を得る．次に，初期 Deep Color 画像からヒストグラムを作成し，ヒストグラムに平滑化処理を行う．最後に平滑化画像とヒストグラムに基づいて画素値を決定し，最終的な Deep Color 画像を得る．この研究の手法では 6bit から 8bit への Inverse Tone
Mapping では評価値が向上するが，8bit から 10bit への Inverse Tone Mapping では
評価値が下がってしまうという結果になった．評価値が低下する原因については，
この研究では画素値が空間的に滑らかであるということを前提としているが，DeepColor 画像には小振幅ノイズが多いことが挙げられている．

図 7: ヒストグラムの比較 (参考文献 [10] より引用)

13

3.3

超解像

色の分解能を向上させる Inverse Tone Mapping と関連する技術として，超解像が挙げられる．超解像とは，低解像度の画像を高解像度の画像に変換する技術である．
バイリニアやバイキュービックといった補間手法で拡大するとエッジがぼやけてしまうが，超解像ではエッジを綺麗にして拡大することができる．Andrea Giachetti
らによる研究 [11](画像 8) では，注目画素の周辺画素を参照してその局所領域を縦横斜めのエッジ部分・グラデーション部分に分類し，それぞれで異なる処理を行う
ことで，エッジ・グラデーション共に綺麗にできるようなアルゴリズムを開発した．
本研究では，超解像の処理が Local Operator の逆操作に似ていることに着目し，超解像と似たアプローチで Inverse Tone Mapping の開発を行う．

図 8: 単純な補間法と超解像の比較 (参考文献 [11] より引用)．A は画素を単純に拡大したため，四角形が目立つ．B はバイキュービック補間を使用しており，四角形は無くなったがエッジの外側に偽のエッジが発生している．C と D は NEDI という超解像アルゴリズムを使用しているが，偽のエッジが発生してしまっている．E はこの研究で提案されている手法を使用しており，偽のエッジは発生していない．

14

3.4

非線形拡散

画像処理には非線形拡散が広く利用されている．画像からノイズを除去する場合に，ぼかし処理（線形拡散）ではエッジがぼやけてしまう場合でも，非線形拡散を利用すればエッジを保存したままノイズ除去を行うことができる (図 9)．拡散を強くしたり複数回処理を行ってもエッジを保存できるため，画像の単純化にも利用することができる (図 10)．非線形拡散では，局所構造を閾値によって分類して処理す
るよりも自然な処理を行うことができる．

図 9: 非線形拡散によるノイズ除去 (参考文献 [12] より引用)．線形拡散 (右上) では
エッジがぼやけてしまっている．非線形拡散 (左下，右下) ではエッジを保存しながらノイズが除去できている．

15

図 10: 非線形拡散による画像単純化 (参考文献 [12] より引用)．線形拡散 (左列) では
全体がぼやけてしまっている．非線形拡散 (中列，右列) では大まかなエッジが残っ
ている．

16

4

提案手法

4.1

補正処理の方針

本研究では，True Color から Deep Color へ単純に変換した後に，周辺画素の明るさに応じて補正処理を行う．補正処理前の True Color 画像は色深度各 10bit の Deep
Color 画像の下位 2bit を丸め込んだものとする．このとき，各画素で 2，1，0，-1 のいずれかの誤差が生じる．エッジ部（周辺画素との輝度差が大きい部分）ではこの誤差が気にならないが，グラデーション部（周辺画素との輝度差が小さい部分）では輝度差でステップ状の縞模様が見えてしまう (バンディングの発生)．このようなステップ状の部分はかつてグラデーション部だったと仮定して補正を行う．対象の画像は CG で作成した画像を前提とする．CG で作成した画像はほとんどの部分がエッジとグラデーションで構成されているため，ノイズや色むら等を考慮する必要
がない．

4.2

線形拡散

補正処理の例として，拡散方程式を利用する方法がある．画素に加算する補正値
を v とおくと，拡散方程式による補正値は以下の式で表される

v = −

δu
· s,
δt

δu
= ∇ · (D∇u).
δt

(1)
(2)

ここで u はピクセルの輝度，t は時間，s はパラメータ，D は空間的な特性や構造によって変化する値・関数であり，この D の設計によって様々な補正処理が実現できる．D を定数にすると線形拡散となる．線形拡散は「ぼかし処理」と同等となり，グ
ラデーションは復元できるがエッジもぼけてしまう．

4.3

PMD

線形拡散では補正能力が不十分であるため，エッジを保存しながらグラデーショ
ンを滑らかにできるような非線形の関数を利用する必要がある．その代表である
PMD[12] では補正値 v は以下の形になる．
)(∥G∥2· L · s,v = −exp − 2
(3)
k
δu
δu
G = i +j ,
(4)
δx
δy
δ2u δ2uL =(5)+.
δx2 δy 217ここで i，j はそれぞれ x，y 方向の単位ベクトルであり，s, k はパラメータである．
PMD は δuが極値を取らないために補正値のコントロールが難しい．また，パラδtメータが s, k の 2 つあるため，パラメータ調整が難しい．

4.4

本手法

本研究では PMD の補正式を元にして新たな補正式を設計する．まずは局所的な空間構造のうち，補正する構造と保存する構造を考える．局所的な空間構造は勾配
G の大きさとラプラシアン L の大きさにより分類できる (図 11)．保存したい構造では補正値が 0 になるように，補正したい構造では補正値が大きくなるようにすれば良い．保存したい構造と補正したい構造の中間的な構造では，補正値を中程度にする．釣鐘状の関数を使用すれば，そのような補正値を得ることができる．本研究ではガウス関数を利用する．ラプラシアンが負の場合も含めると補正関数の形状は図12 のようになる．本研究では以下の式で補正値 v を求める．
())((∥G∥ − G0 )2
L(|L| − L0 )2
v = −exp −·· max,(6)· exp −
2
2
kg
kl
|L|
δu
δu
G = i +j ,
(7)
δx
δy
δ2u δ2uL =+.
(8)
δx2 δy 2
ここで i，j はそれぞれ x，y 方向の単位ベクトルである．G0 , L0 , kg , kl はパラメータであり，max は補正値の最大値を表す．これらのパラメータのうち，G0 , L0 , max は予め計算して定数化しておくことができる．kl , kg は kl = α · kg の形で表すことができる．これらの導出方法は後述する．

4.5

L の逆符号で微小定数加算

グラーデーションを平滑化する処理は，L の大きさをを減少させる方向に補正を行うことに等しい．PMD や本手法は G と L によって補正値が変化する．補正値の大きさを微小値に固定し，L の符号のみで補正値を決定した場合にどのような結果になるかを併せて検証した．微小値を ϵ とおくと，補正値 v は以下のように表される．

L
· ϵ,
|L|
δ2u δ2uL =+.
δx2 δy 2
v = −

18

(9)
(10)















  !"#$%

&
()

'

*+,-.

図 11: 局所構造の分類．平坦部 (灰)，グラデーション部 (青)，エッジ部 (緑) では補
正を行わない．曖昧な構造 (赤) は補正を行う．

correction value

1
0.8
0.6
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
-1

20
15
norm of gradient

10
5
0 20

15

10

5

0

-5

laplacian

図 12: 設計する補正関数の形状

19

-10

-15

-20

5

実装

5.1

単純 Inverse Tone Mapping

補正処理を行う前に，True Color から Deep Color への単純 Inverse Tone Mappingを行う．本研究では，True Color の RGB 各 8bit 値を 2bit 左シフトする処理を行う(図 13)．これにより，各画素値はそれぞれ 4 倍される (図 14)．

















CJU஋
୯७*OWFSTF5POF.BQQJOH





















CJU஋

図 13: 下位 2bit 拡張





































































































୯७*OWFSTF
5POF.BQQJOHCJUը૾CJUը૾

図 14: 単純 Inverse Tone Mapping20‫ݔ‬௨௣௣௘௥

‫ݔ‬௟௘௙௧

‫ݔ‬௖௘௡௧௘௥

‫ݔ‬௥௜௚௛௧

‫ݔ‬௟௢௪௘௥

図 15: 注目画素 (xcenter ) と周辺の参照画素 (xupper , xlower , xlef t , xright )5.2

微分から差分への変換

本研究での補正式は画像の画素値は空間的に連続と考えて構築した式であるが，通常の画像形式では画素値は空間的に連続ではないため，式 (7) や式 (8) のような微分値を計算することができない．そのため，微分を差分で近似して計算する必要がある．微分を差分に変換する方法はいくつか存在するが，本研究では中心差分を使用する．差分の計算には注目画素の上下左右の画素を参照する必要がある．斜め方向の画素は考慮しないこととする．図 15 のように，注目画素とその上下左右の画素
22, δu , δ u , δ u はそをそれぞれ xcenter , xupper , xlower , xlef t , xright とする． このとき， δuδx δy δx2 δx2

れぞれ以下のように表すことができる．

δu
δx
δu
δy
δ2u
δx2
δ2u
δy 2

xright − xlef t,
2
xlower − xupper
=
,
2
=

(11)
(12)

= −xlef t + 2xcenter − xright ,(13)= −xupper + 2xcenter − xlower .

(14)

式 (6) の計算で必要となる ∥G∥ と L は以下のように表すことができる．
√(xright − xlef t )2 + (xlower − xupper )2
,
∥G∥ =
2
L = −xupper − xlef t + 4xcenter − xright − xlower .

21

(15)
(16)

5.3

パラメータの値の導出

本研究におけるパラメータのうち max, G0 , L0 は計算で求めて定数化することができる．max は補正値の最大値であり，本研究での補正値は −2, −1, 0, 1 のいずれかになれば良い．max = 1.5 として，補正値の小数点以下を切り下げれば，補正値を−2, −1, 0, 1 のいずれかに限定することができる．G0 , L0 には，補正値が極値を取る
ときの勾配とラプラシアンの大きさの絶対値を指定する．本研究では，元々は緩やかなグラデーション部分だったようなステップ状の部分 (図 16) で補正値が極値を取√るようにする．このとき，G0 = 2 2, L0 = 8 となる．残るパラメータは kg , kl の 2つである．ある微小値を ϵ とおき，点 (∥G∥ = G0 , |L| = L0 ) の近辺で以下の式が満たされるべき点を探す．
)(()(|L| − L0 )2(∥G∥ − G0 )2
· exp
exp −
< ϵ.
(17)
kg2
kl2
そのような点は (∥G∥ = G0 , ∥L∥ = 0), (∥G∥ = 0, ∥L∥ = L0 ) の 2 点が挙げられ，これらは緩やかなグラデーションと小さな凹凸の形状を表す (図 17)．これらの値を式に代入して整理すると，以下の 2 本の式が得られる．
√
kl
−1
,
<
(18)
L0
ln (ϵ)
√
kg
−1
(19)
<
.
G0
ln (ϵ)
k

本研究では Lkl0 = Gg0 とみなしてしまうことで，調整すべきパラメータを唯一つにした．G0 , L0 は先に求めたので，kg と kl の関係は以下のように表される．

L0· kg ,
G0√= 2 2 · kg .

kl =

(20)
(21)

あとは kg を経験的に調整すれば，パラメータの値がすべて求まる．

5.4

補正処理の適用回数

ステップ状の部分をグラデーションに補正する際に，補正処理を複数回行うこと
で，グラデーションをより滑らかにすることができる．1 次元で輝度差 1 のグラデー
ションを下位 2bit 丸め込み，補正値を −2, −1, 0, 1 に限定した平滑化処理を 2 回行うと，図 18 のようになる．1 回目の平滑化ではステップ状の部分を補正しきれておらず，揺らぎのあるグラデーションになっている．2 回目の平滑化では，輝度差 1 のグ
ラデーションをほぼ復元できている．
本手法の補正処理は平滑化処理とは異なる処理であるが，緩やかなグラデーショ
ン部分においては平滑化処理と同等の効果を得ることができる．そのため，本研究22

図 16: 補正値を最大にする局所構造 (右)．数字は画素の輝度．高低差 4 の小ステップを補正してグラデーションにする．

図 17: 補正値を 0 にする局所構造．数字は画素の輝度．既にグラデーションにになっている部分 (左) と，幅 1 画素の凹凸 (右)．

23







































ً౓ࠩͷάϥσʔγϣϯԼҐCJU‫ؙ‬ΊࠐΈ















ฏ‫׈‬Խ ճ໨















ฏ‫׈‬Խ ճ໨















図 18: 1 次元画像に対する複数回のグラデーション平滑化

では補正処理を 2 回行うこととした．また，繰り返し毎に補正値を −2, −1, 0, 1 に限定して補正するよりも，画素値も補正値も実数値として計算を繰り返し，最後に画素値を整数値に変換したほうが厳密な計算となる．そのため，まず整数画像を実数画像に変換し，実数で補正処理を行った後に，再び整数画像に戻す処理を行った．

5.5

画像周辺部の計算

画像の周辺部分の外側には画素が存在しないので，そのままでは差分を計算することができない．本研究では，図 19 のように画像の周辺部分の画素をその外側にコ
ピーすることで，画像周辺部分での計算を行った．

5.6

並列化

昨今の CPU はマルチスレッドでの動作が可能であるため，独立して計算できる部分は並列に計算させることができる．本研究では計算速度には重点を置いていな
いが，マルチスレッドでの並列化は容易に実装できるため，図 20 のように画像を数
行単位で分割し，それぞれ別のスレッドで処理を行うようにした．

5.7

カラー画像への対応

本研究のアルゴリズムはグレースケール 1ch の画像を前提としているが，True
Color 画像では RGB 3ch で記録されている．そのため，本研究では以下の流れで処理を行う (図 21)．

24



 

 





































































































































ը૾पล෦෼ͷըૉ஋Λ֎ଆʹίϐʔ

図 19: 画像周辺部分の画素値のコピーεϨου਺Ͱ෼ׂ

εϨουͰॲཧ
εϨουͰॲཧ
εϨουͰॲཧ
εϨουͰॲཧ
図 20: 複数スレッドによる処理並列化

25

*5.

CJUάϨʔεέʔϧ 3

CJUάϨʔεέʔϧ 3

3(#

3(#
*5.

෼཭
5SVF $PMPS݁߹CJUάϨʔεέʔϧ (CJUάϨʔεέʔϧ (%FFQ$PMPS*5.
CJUάϨʔεέʔϧ #CJUάϨʔεέʔϧ #図 21: 複数チャンネルの処理

1. True Color 画像を RGB の 3ch で分離し，8bit グレースケール画像を 3 枚作成
2. 8bit グレースケール画像それぞれで Inverse Tone Mapping を適用し，10bit グ
レースケール画像を 3 枚作成
3. 10bit グレースケール画像をチャンネルで結合し，Deep Color 画像を得る．
5.8

拡張する bit 数の可変化

本研究の手法では，8bit から 10bit への変換だけでなく 12bit や 16bit 等，拡張する bit 数を自由に変更することができる．拡張する bit 数を n，8bit から 10bit への2bit 拡張のときの kg の値を kg2 とすると，補正式の各パラメータは新たに以下のように表せる．
2n − 1
max =
,
(22)
2
√
G0 =
2 · 2n−1 ,
(23)

5.9

L0 = 4 · 2n−1 ,(24)kg = kg2 · 2n−2 .

(25)

実装言語

アルゴリズムの実装言語には C++を使用した．画像の入出力と画素へのアクセスには，フリーの画像処理ライブラリである OpenCV[13] を利用した．

26

6

評価

6.1

評価用画像の準備評価を行うためには Deep Color 画像を入手する必要があるが，Deep Color 画像はほとんど出回っていない．Deep Color の CG 画像については，OpenGL 等を用いれば容易に作成することができる．写真画像については，まず RAW 形式の画像を入手する．RAW 形式とはカメラのセンサデータをそのまま記録したような画像ファイルであり，高ダイナミックレンジ画像と同等である．RAW 形式の画像はカメラメー
カーのウェブサイトや有志によるウェブサイトからダウンロードすることができる．
この RAW 形式の画像を通常の画像ファイルに変換する (高ダイナミックレンジ画像
から Deep Color 画像への Tone Mapping を行う) 必要があるが，それには dcraw[14]というフリーソフトを利用した．dcraw では RAW 形式の画像を 16bit PNG と 16bit
Tiﬀ の画像形式に変換することができる．本研究では 3 つの CG 画像と 2 つの写真
画像を準備した (図 22)．

図 22: 評価に使用した画像 (Photo1 と Photo2 は参考文献 [15] より引用)

27

図 23: PSNR による評価

6.2

他手法と本手法との比較評価には PSNR という指標を用いる．PSNR とは 2 つの画像の類似度表す値であり，値が大きいほど 2 つの画像が似ているということになる．PSNR は以下の式で計算できる．

M AX 2,M SE
M AX= 20 · log10 √.
M SE

P SN R = 10 · log10

(26)
(27)

ここで，M SE は平均二乗誤差，M AX は画素値の最大値で 10bit では 1023 である．
補正処理前の True Color 画像から Deep Color 画像を推定し，それと元々の Deep
Color 画像との間の PSNR を計算する (図 23)．
準備した画像で評価を行った (図 24，表 2)．線形拡散，PMD，本手法でのパラメー
タ調整は，画像 Edge の PSNR が最高になる範囲内で画像 Grad の PSNR が最高となるようにした．画像 CG での PSNR は本手法が最良となったが，画像 Photo1 と
画像 Photo2 では他の手法よりも PSNR が低く，補正無しのときよりも PSNR が低下する場合があった．
L の逆符号で微小定数加算した場合では多くの画像で PSNR が向上している．計
算上では L の符号が正の場合は −1，負の場合は 0 を補正値として加算するようになっている．これにより，ステップ状の部分はかつてグラデーション部だったという仮定の下では誤差が減少し，PSNR を向上させることができたと考えられる．線形拡散と PMD のパラメータ調整の結果，これらの補正値は L の逆符号で微小定数

28

画像

Edge
Grad
CG
Photo1
Photo2

表 2: 評価結果 (PSNR)
補正無し 線形拡散 PMD L の逆符号で微小定数加算53.66652.38752.38752.38758.43460.95460.95460.95656.70856.96056.96056.91958.31258.58758.58758.58758.28458.77058.77058.770

図 24: 補正無しの場合からの PSNR 値の増減

29

本手法

53.66664.70357.14758.29758.306

加算した場合の補正値と似たものとなった．線形拡散と PMD は共に，エッジを保存しようとするとグラデーションの平滑化が弱くなり，グラデーションの平滑化を強くするとエッジが破壊される．線形拡散と PMD のパラメータはエッジを可能な限り残すように調整したため，グラデーションの平滑化は弱くなり，L の逆符号で微小定数加算した場合と同等になったと考えられる．

6.3

誤差の可視化

補正処理前後での誤差の増減の可視化を行った．誤差が減少した画素を青，誤差が増加した画素を黄，誤差が変化していない画素を黒で表した．画像 CG では図 25，
26，27，28 のようになった．誤差が増減した画素の割合は表 3，4，5，6 のようになった．PMD ではタイルの境界部分を補正しているが，本手法ではタイルの境界部分は補正していないことが分かる．また，グラデーション部分では PMD に比べて本手法のほうが，誤差が減少した画素数も誤差が増加した画素数も多くなった．
本手法は画像 CG では PSNR が最良となったが，これは画像 CG がエッジと滑らかなグラデーションのみで構成されているためであると考えられる．図 27 と図 28を見ると，PMD ではエッジ部分も補正してしまっていることが分かる．エッジ部分
はどのように補正すれば誤差を減らすことができるか分からないため，下手に補正すると誤差が増加してしまう．それに対し，本手法ではエッジ部分に対しては補正を行っていないことが分かる．そのため，本手法ではエッジの部分では誤差の増減が無い．また，グラデーション部分については，PMD よりも本手法のほうが誤差が減少した画素が多い．これは，PMD よりも本手法のほうがグラデーションの平滑化が強いためであると考えられる．グラデーション部分ではまた，PMD よりも本手法のほうが誤差が増加した画素も多い．これは，本手法ではグラデーションの平滑化が大きいために，補正が行き過ぎてしまう場合があるからだと考えられる．
画像 Photo1 での可視化画像は図 29，30，31，32 のようになった．空の部分など
ほとんどの部分では，本手法よりも PMD のほうが，誤差が減少した画素数も誤差が増加した画素数も多くなった．光の当たった白壁の部分では，PMD よりも本手法のほうが誤差が減少した画素数が多くなった．画像 Photo2 では図 33，34，35，36のようになった．画像のほとんどの部分では，本手法よりも PMD のほうが，誤差が減少した画素数も誤差が増加した画素数も多くなった．
本手法での PSNR は，画像 Photo1 と画像 Photo2 では PMD に劣った．画像 Photo1の空の部分は滑らかなグラデーションであることが期待されるが，図 31 を見ると実際には滑らかなグラデーションではなく，ノイズと小さな揺らぎの乗ったグラデー
ションとなっていることが分かる．ノイズ部分では |L| が大きくなるので，本手法での補正値は 0 になる．小さな揺らぎの部分はグラデーションに近づくように補正される．本手法はグラデーションの平滑化が強いため，元の画像に小さな揺らぎが多く存在する場合には，その小さな揺らぎが破壊されてグラデーションになってしまい，PSNR が低下すると考えられる．図 32 を見ると，壁に光が当たってほとんど

30

白飛びしてしまっている部分において，本手法では誤差が減少した画素が多くなってる．ほとんど白飛びしたような部分ではノイズや揺らぎが非常に小さくなり，グラデーションと同等となるために，グラデーションの平滑化が強い本手法が有利になったと考えられる．また，画像内の物体の境界部分は明確なエッジであることが期待されるが，図 35 と図 36 の物体の境界部分に注目すると，実際には境界部分がぼやけていることが分かる．そのため，写真画像では本手法でのエッジ保存効果はほとんど意味を成さず，グラデーション部分や小さな揺らぎ部分と同様にグラデー
ション平滑化が行われるので，誤差の増減は予測できない．そのため，グラデーショ
ンの平滑化が強い本手法では誤差が増加しやすく，グラデーションの平滑化が弱い
PMD のほうが PSNR が高くなりやすいと考えられる．

31

表 3: 画像 CG を PMD で補正した際に誤差が増減した画素数
画素数 総画素数に対する割合
誤差が減少 129760
12.37%
誤差が不変 856773
81.71%
誤差が増加
62043
5.92%

図 25: 画像 CG を PMD で補正した結果の誤差の可視化

32表 4: 画像 CG を本手法で補正した際に誤差が増減した画素数
画素数 総画素数に対する割合
誤差が減少 132133
12.60%
誤差が不変 891302
85.00%
誤差が増加
25141
2.40%

図 26: 画像 CG を本手法で補正した結果の誤差の可視化

33表 5: 画像 CG の床タイル部分で誤差が増減した画素数の割合
PMD 本手法
誤差が減少
3.40% 4.94%
誤差が不変 94.90% 95.06%
誤差が増加
1.70% 0.00%

図 27: 画像 CG の床タイルの部分の拡大図

34

表 6: 画像 CG のティーポットの部分で誤差が増減した画素数の割合
PMD 本手法
誤差が減少 46.58% 63.55%
誤差が不変 46.36% 28.72%
誤差が増加
7.06% 7.73%

図 28: 画像 CG のティーポットの部分の拡大図35

図 29: 画像 Photo1 を PMD で補正した結果の誤差の可視化

表 7: 画像 Photo1 を PMD で補正した際に誤差が増減した画素数
画素数 総画素数に対する割合
誤差が減少 4606348
32.16%
誤差が不変 5695430
39.77%
誤差が増加 4020318
28.07%

36

図 30: 画像 Photo1 を本手法で補正した結果の誤差の可視化

表 8: 画像 Photo1 を本手法で補正した際に誤差が増減した画素数
画素数 総画素数に対する割合
誤差が減少 2876906
20.09%
誤差が不変 8482433
59.23%
誤差が増加 2962757
20.69%

37

表 9: 画像 Photo1 の空の部分で誤差が増減した画素数の割合
PMD 本手法
誤差が減少 31.74% 21.58%
誤差が不変 40.29% 55.15%
誤差が増加 27.97% 23.27%

図 31: 画像 Photo1 の空の部分の拡大図

38

表 10: 画像 Photo1 の光が当たった壁の部分で誤差が増減した画素数の割合
PMD 本手法
誤差が減少 19.52% 60.91%
誤差が不変 51.25% 27.95%
誤差が増加 29.24% 11.13%

図 32: 画像 Photo1 の光が当たった壁の部分の拡大図39

図 33: 画像 Photo2 を PMD で補正した結果の誤差の可視化

表 11: 画像 Photo2 を PMD で補正した際に誤差が増減した画素数
画素数 総画素数に対する割合
誤差が減少 8734883
36.08%
誤差が不変 9997879
41.30%
誤差が増加 5475646
22.62%

40

図 34: 画像 Photo2 を本手法で補正した結果の誤差の可視化

表 12: 画像 Photo2 を本手法で補正した際に誤差が増減した画素数
画素数 総画素数に対する割合
誤差が減少
489380320.22%
誤差が不変 14987354
61.91%
誤差が増加
4327251
17.87%

41

表 13: 画像 Photo2 の橋の部分で誤差が増減した画素数の割合
PMD 本手法
誤差が減少 34.39% 15.09%
誤差が不変 41.02% 70.53%
誤差が増加 24.58% 14.38%

図 35: 画像 Photo2 の橋の部分の拡大図

42

表 14: 画像 Photo2 の川の部分で誤差が増減した画素数の割合
PMD 本手法
誤差が減少 36.71% 22.19%
誤差が不変 41.12% 58.78%
誤差が増加 22.17% 19.02%

図 36: 画像 Photo2 の川の部分の拡大図

43

手法

表 15: 計算速度の比較
1 画素当たりの計算時間

線形拡散
PMD
L の逆符号で微小定数加算
本手法

CPU
メモリ
OS
6.4

フル HD での fps

51.3 nsec
148 nsec
46.0 nsec
148 nsec

9.40 fps
3.43 fps
10.52 fps
3.43 fps

表 16: 測定環境
Intel Core i3-4130 CPU @ 3.40GHz , 4threads
DDR3 4096MB 1600MHz 1 枚Linux Mint 18.1

計算速度の測定

それぞれの手法での計算速度の測定を行った (表 15)．測定環境は表 16 のとおり．
計算速度は PMD と本手法が同率で最も遅く，L の逆符号で微小定数加算が最も速くなった．
計算速度は補正処理が複雑であるほど遅くなっているが，それでも 3 倍程度の差しか無い．これは，補正処理以外の部分にコストがかかっているからであると考えられる．複数回の補正処理を実数で行うために整数画像を実数画像に変換する処理と，補正処理後の実数画像を整数画像に戻す処理と，True Color 画像を RGB の 3chで分離して 8bit グレースケール画像を 3 枚作成する処理と，10bit グレースケール
画像 3 枚を結合して Deep Color 画像を得る処理のこれら 4 つの処理はそれぞれの手法で共通している．この共通した処理でコストがかかっていると考えられる．

6.5

10bit 以外の色深度での結果拡張する bit 数を変えて PSNR を計算した (表 17，表 18，表 19)．画像 CG では
8bit から 12bit，14bit，16bit への変換すべてで本手法適用により PSNR が向上した．
画像 Photo1 と画像 Photo2 では 8bit から 12bit，14bit，16bit への変換すべてで本手法適用により PSNR が低下した．
補正無しの場合・本手法を適用した場合共に，同じ画像であれば拡張する bit 数を変化させても PSNR がほとんど変化しなかった．8bit の値が持つ誤差を E とおく
表 17: 画像 CG で変換先の bit 数を変えた際の PSNR
12bit
14bit
16bit
補正無し 56.077 55.852 55.790
本手法
56.272 55.999 55.926

44

表 18: 画像 Photo1 で変換先の bit 数を変えた際の PSNR
12bit
14bit
16bit
補正無し 58.896 58.902 58.899
本手法
58.881 58.888 58.884
表 19: 画像 Photo2 で変換先の bit 数を変えた際の PSNR
12bit
14bit
16bit
補正無し 58.645 58.644 58.639
本手法
58.516 58.479 58.466と，nbit の拡張を行った際の，補正無しの場合の PSNR はおおまかに以下のように表される．

(28+n )2,
(E · 2n−1 )2218= 10 · log10 2 .
E

P SN R = 10 · log10

(28)
(29)

PSNR の式から変数 n が消えるので，拡張する bit 数によらず PSNR がほぼ一定になることは不自然ではない．また，本手法を実数で計算する場合には，単純 Inverse
Tone Mapping と補正処理の順番を入れ替えても同じ結果になる．先に補正処理を行った結果の誤差を Er とおき，nbit 拡張を行うと，上記の補正無しの場合の PSNRの式と同様に変数 n が消えるので，やはり PSNR がほぼ一定になる．

45

7

おわりに

7.1

まとめ

本研究では True Color から Deep Color への Inverse Tone Mapping を開発した．
本手法では，True Color から Deep Color に単純 Inverse Tone Mapping を行った後に，グラデーションを平滑化する補正処理を行う．補正処理は拡散方程式を基本として考えるが，線形拡散や PMD ではエッジの保存が不充分であるため，エッジを保存しながらグラデーション平滑化ができる補正式を設計した．PSNR による評価
では，CG 画像では本手法で PSNR が最良となったが，写真画像では本手法よりもPMD のほうが PSNR が高くなった．

7.2

今後の課題

• 補正式の改良
写真画像で本手法の PSNR が低い原因は，写真画像にはそもそもノイズや小さな揺らぎ，境界のぼやけが多く存在し，本手法が前提とする滑らかなグラ
デーションと明確なエッジのみで構成された画像とは程遠いためであると考えられる．写真画像で PSNR を向上させるためには，エッジ保存とグラデーショ
ン平滑化を行いつつ，ノイズや小さな揺らぎ，境界のぼやけにも対応する必要がある．まずはノイズや小さな揺らぎ，境界のぼやけにおいて，どのような処理を行えば誤差を減少させることができるか，あるいは誤差を増加させないことができるかを考えなければならない．本手法では図 11 のように勾配の大きさとラプラシアンの大きさで局所構造を 9 個に分類したが，これでは大まかすぎる．より複雑な局所構造に対応できるように，勾配の大きさとラプラシアンの大きさ以外の指標も考慮して局所構造を分類し，補正式を再構築しなければならない．現在は注目画素とその上下左右の画素しか参照していないので，より広い範囲を参照する必要がある．
• 写真画像の改善
理想的な写真画像にはノイズや小さな揺らぎが存在せず，焦点の合った物体の境界部分は明確なエッジに，焦点のはずれた物体の境界は滑らかなグラデー
ションになるはずである．本研究では RAW 形式画像から Deep Color 画像へ変換したが，その際には主に 2 つのプロセスが実行される．
1. デモザイク
RAW 形式画像はカメラの撮像素子から出力された値をそのまま記録したような形式で保存されている．その画素はベイヤー配列という，各画素
が RGB のいずれか 1ch しか持たない配列となっており，これを 1 画素がRGB 3ch を持つように変換するデモザイク処理が必要となる (図 37)．
2. Tone Mapping46

図 37: デモザイクのイメージ (参考文献 [18] より引用)

デモザイク直後の画像はカメラそれぞれで特有の色空間を持っているた
め，Tone Mapping により一般的な色空間に変換する．
このプロセスの際に以下の問題が発生することがある．

– 色収差
レンズにおける光の屈折率は光の波長によって異なる．そのため，例えば緑色の光で焦点が合うように撮影すると，青色の光と赤色の光の焦点は前後にずれるため，青色の光と赤色の光が結ぶ像はぼやける．この状態のままデモザイクを行うと，色ずれが発生する．デモザイクの前に色収差を補正することで，色ズレを防ぐことができる (図 38)．
– Hot Pixel と Dead Pixel
Hot Pixel とは，ある撮像素子が過度な熱を持つことで，その撮像素子から出力される値が本来よりも大きくなる現象である．Deap Pixel とは，ある画像素子が故障することで，その画像素子から出力される値が常に 0になる現象である．これらの状態のままデモザイクを行うと，輝度ずれや色ずれの起きたドットノイズが発生する．デモザイクの前に補正する
か無視することで，ドットノイズを防ぐことができる (図 39)．
– その他のノイズ
熱によって自然発生する暗電流によるノイズ，撮像素子の周辺の回路の電流によるノイズなどがある．デモザイク前に補正するか，デモザイク
後にノイズ除去フィルタをかけることでノイズの影響を軽減できる．また，デモザイクのアルゴリズムによっては，デモザイク後の画像に輝度
ムラや色ムラ，エッジのぼやけなどが発生することがある．
上記の問題が発生しないように上手く調整できれば，理想的に近い写真画像47

図 38: 色収差による色ずれ (左) と色収差を補正した結果 (右)(参考文献 [16] より引用)

48

図 39: Hot Pixel によるドットノイズ (左) と Hot Pixel を補正した結果 (右)(参考文
献 [16] より引用)

49

を得ることができる．この写真画像を使って本手法での補正前後の評価を行えば良い．Raw Therapee[17] というオープンソースの GUI ソフトを利用すれば，デモザイクアルゴリズムを変更したり，色収差やノイズ除去等の調整を行うことができる．

• 補正処理の適用回数
本手法では，拡張する bit 数に関わらず，同じ補正処理を 2 回適用することにしている．拡張する bit 数に応じて補正処理の繰り返し回数を増やしたり，1
回目は nbit 拡張の補正処理，2 回目は n2 bit 拡張の補正処理，k 回目は 2nk bit の拡張というように繰り返し毎に補正処理を変えることによって，PSNR にどんな影響があるか検証する必要がある．
• 高速化
本手法は現状ではフル HD(1920x1080 ピクセル) の解像度で 3.43fps しか処理速度が出ないため，リフレッシュレート 30Hz のディスプレイでリアルタイム
表示を行うには約 9 倍高速化する必要がある．RGB 3ch での画像の分離・結合を行わず，直接 RGB 値を処理するようにすれば高速化できる．また，複数回の補正処理を実数画像で行った場合と整数画像で行った場合とで PSNR 値に大きな変化が無ければ，整数輝度から実数輝度への変換・逆変換を省略することができる．

50

参考文献[1] ClarkVision.com
http://www.clarkvision.com/imagedetail/eye-resolution.html[2] AMD Radeon FreeSync
https://www.amd.com/ja/technologies/free-sync[3] NVIDIA G-SYNC
http://www.nvidia.co.jp/object/g-sync-monitor-technology-jp.html[4] IO-DATA LCD-A155GW
http://www.iodata.jp/product/lcd/square/lcd-a155g/spec.htm[5] BenQ SW271
http://www.benq.co.jp/product/monitor/sw271/[6] ASUS ROG SWIFT PG27VQ
https://www.asus.com/jp/Monitors/ROG-SWIFT-PG27VQ/[7] Photoshop Foundations: Techniques that fix color banding
https://carolinerutland.wordpress.com/2015/03/14/
photoshop-foundations-techniques-that-fix-color-banding/[8] Francesco Banterle, et al. Inverse Tone Mapping. GRAPHITE ’06, November 29, 2006
[9] Reinhard, et al. Photographic tone reproduction for digital images. ACM Transactons
on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2002. 21(3), July 2002
[10] 竹内健, 甲藤二郎, 早稲田大学大学院基幹理工学研究科. 中間調画像の色ビット深度拡張に関する検討. 電子情報通信学会技術研究報告. IE, 画像工学 110(22), 55-60, 2010-04-19[11] Andrea Giachetti and Nicola Asuni. Real-Time Artifact-Free Image Upscaling. IEEE
Transactions on Image Processing. 20(10), Oct. 2011[12] J Weickert. Anisotropic diﬀusion in image processing. 1998 - lpi.tel.uva.es
http://www.lpi.tel.uva.es/muitic/pim/docus/anisotropic_diffusion.pdf[13] OpenCV
https://opencv.org/[14] dcraw
https://www.cybercom.net/~dcoffin/dcraw/[15] RAWSAMPLES.CH
https://www.rawsamples.ch[16] Raw Pedia
http://rawpedia.rawtherapee.com/Main_Page[17] RawTherapee
http://rawtherapee.com/

51

[18] Red Digital Cinema Camera Company
http://www.red.com/learn/red-101/bayer-sensor-strategy

52

謝辞
本研究を進めるにあたり, ご指導頂いた指導教員の成見哲教授, 副指導教員の中山泰一教授，および相談に乗って頂いた成見研究室の先輩，同期，後輩の皆様に感謝いたします．

53