広ダイナミックレンジ画像の高コントラスト化画像処理
線形 / 対数型 CMOS イメージセンサー対応ダイナミックレンジ圧縮
Contrast Improvement for a Linear/Log CMOS Image Sensor

佐藤一

睦＊Sato, Kazuchika

片桐哲

也＊

Katagiri, Tetsuya

要旨
線形/対数型イメージセンサーで撮影された画像は，線形領域は通常のイメージセンサと同様にコントラストが良好であり，さらに対数領域を持つので非常にダイナミックレンジが広いという特徴を持つ。しかし，通常の画像処理では対数領域で低コントラストとなってしまう。そこで，ダイナミックレンジ圧縮技術を適用して，高コントラスト化する画像処理について紹介する。
画像を照明光成分と反射率成分に分け，照明光成分をダイナミックレンジ圧縮することで実現する。照明光成分の抽出には，まず，平滑化とダウンサンプリングを繰り返して多重解像度化する。次に，低解像度側の画像をアップサンプリングしエッジ部を高解像度側の画像のエッジに置換えることを繰り返すことでエッジ維持された平滑化画像を得て照明光成分とする。照明光成分の圧縮の際に，線形領域をできるだけ圧縮しないようにすることで，線形/対数型イメージセンサーの特徴を損なわないようにする。
さらに，高画質を要求する用途のために微小なエッジの不具合を補正する方法も簡単に紹介する。

Although linear/log image sensors provide high contrast
with their linear characteristic and wide dynamic range with
their logarithmic characteristic, conventional image dataprocessing results in low contrast in the logarithmic area.
This paper describes a dynamic range compression technique that improves contrast with linear/log image sensors.
An image consists of reflectance and illumination, and thecompression of the dynamic range of illumination achieves
a high contrast image. In the technique presented, illumination is extracted from an image by edge-preserving
smoothing. Smoothing and downsampling an image several times provides multi-resolution images. The lower resolution images are upsampled and their edge areas are replaced by those of the higher resolution images. This
upsampling and replacement is repeated until the original
image resolution is reached. In illumination compression,
lower compression of the linear area makes full use of thecharacteristics of a linear/log image sensor. In addition tothe technique presented, an effective method of correcting small edge artifacts for higher quality images is brieflydescribed.

82

部

幸一＊

芹田保

明＊

Serita, Yasuaki

1 はじめに輝度差の大きいシーンでも黒つぶれや白とびなく撮影可能な広ダイナミックレンジイメージセンサーは各種用途で望まれている。たとえば，車載用ではトンネルの出入り口や対向車のヘッドライトが直接画角に入るような場合でも画面全体が確認できるよう撮影可能であり，監視用では屋内と屋外を同時に監視する場合や強い光源が直接画角内に入る場合でも問題なく撮影できる。また，一般のデジタルカメラやビデオカメラ，カメラ付携帯電話などにおいても，逆光シーンでフラッシュなしで撮影可能であり，人物に露出を合わせても背景が視認できる，など利点は多い。
これらの用途に使用可能なCMOSイメージセンサーが当部署で開発され報告されている１）。このセンサーは，低輝度部は線形特性で輝度が高くなると自動的に対数特性に切り替わる光電変換特性，すなわち線形/対数型光電変換特性（以下，線形/対数特性）を持つように駆動することが可能である。線形/対数特性は，低輝度部すなわち線Abstract＊コニカミノルタテクノロジーセンター㈱イメージングデバイス開発室

掃Kamon, Koichi

デバイス技術研究所

形特性領域は通常のイメージセンサーと同じく高コントラストな画像が得られ，高輝度部が対数特性となるため非常にダイナミックレンジが広いという特徴を持つ。しかしながら，通常の画像処理でモニター用画像やプリント用画像を作成すると，対数特性の高輝度部が低コントラストとなり，視認性に乏しい画像になってしまう。
そこで，ダイナミックレンジ圧縮技術を適用し，対数特性の高輝度部，および画面全体を高コントラスト化する画像処理を開発したので紹介する。線形/対数特性の特徴を損なわない工夫も盛り込まれている。また，高画質用途向けとして微小なエッジ不具合に対する補正方法も簡単に紹介する。

２

線形 / 対数型 CMOS イメージセンサー

２．１

光電変換特性Fig.１に試作した線形/対数型CMOSイメージセンサーの光電変換特性を示す。横軸は対数スケールで入射光強度（デバイス面照度），縦軸はセンサー出力である。点線は線形駆動した場合であり，実線は線形/対数駆動した場合である。線形/対数駆動では入射光強度が15lx以下ではKONICA MINOLTA TECHNOLOGY REPORT VOL.4（2007）

線形特性を示し，それより大きい領域で対数特性となっしかし，Fig.１からわかるように，対数特性領域は線形ている。線形駆動の場合に入射光強度20lx強で出力が飽和特性領域の100倍以上の入射光範囲を持つにもかかわらしているのに対し，線形/対数駆動では3000lx以上まで対ず，出力は線形特性領域の数分の１に圧縮されているた数特性を維持できているので，２桁以上ダイナミックレめ，低コントラストである。

ンジが拡大されていることがわかる。

このまま，通常の処理を行いモニターやプリントなどの出力手段に出力すると，主被写体は高コントラストで，全体としては広ダイナミックレンジであるが，高輝度領域（対数特性領域） は低コントラストな画像となる（Fig.２ LINEAR/LOG）。また，対数特性領域を線形特性に変換すると非常に広い出力ダイナミックレンジが必要になり，そのままではダイナミックレンジの狭い出力手段へは出力できない（Fig.２ full linear）。線形変換画像を出力手段のダイナミックレンジに合わせて単純に圧縮すると，画像全体が低コントラストとなってしまう（Fig.２compressed linear）。
そこで，広ダイナミックレンジ画像を高コントラストでモニターやプリントへ出力できる画像処理が必要となる。

Fig.1 Photosensitive conversion characteristics of alinear/log CMOS image sensor

３ ダイナミックレンジ圧縮
３．１

２．２ 線形/対数特性の利点

概要

線形/対数特性の場合，線形特性領域は通常のイメージ

広ダイナミックレンジ画像をそれより狭いダイナミッセンサーと同じなので，高コントラストである。デジタ

クレンジ画像へ高コントラストで変換する技術は，ダイルカメラやビデオカメラなどで撮りたいもの，主被写体

ナミックレンジ圧縮技術とよばれる。ダイナミックレンが明確な場合，適正露光レベルが線形特性領域になるよジ圧縮技術の中で，Retinex理論２）を基本とした研究や開う露光制御をしてやれば，主被写体は高コントラストで発が多数報告されている３，４，５）。Retinex理論によると，撮影できる。逆光の場合には,広ダイナミックレンジなの目に入る光は物体の反射率と照明光の積で決まるが，目で背景も白飛びせず同時に撮影できる。の知覚は反射率に強い相関を示す。すなわち，広ダイナ
ミックレンジ画像において，照明光成分のダイナミック２．３

広ダイナミックレンジの課題

レンジだけを狭くすれば，目の知覚と相関の強い反射率成分は維持され、高コントラストでダイナミックレンジの狭くなった（圧縮された）画像が得られる。
広ダイナミックレンジ画像をＩ，その反射率成分Ｄ，Fig.3 Dynamic range(DR) compression on retinex theory
Fig.2 Dynamic range (DR): output vs. input

I: wide dynamic range image; L: illumination; D: reflectance;
L': compressed illumination; I': DR compressed image

KONICA MINOLTA TECHNOLOGY REPORT VOL.4（2007）83照明光成分をＬ，圧縮後の照明光成分をL ，ダイナミッ

エッジ付近でハロー効果とよばれる不具合が発生する。

クレンジ圧縮後の画像をＩ とするとFig.４に極端なハロー効果の例を示す。マネキンの周辺が白い縁取りがされたようになっている。

Ｉ =Ｌ ・Ｄ1

これは，抽出された照明光成分が真の照明光成分と異Ｉ =Ｌ ・Ｄ

2なることに起因し，特にエッジ付近で顕著に現れる。Fig.５

式12より

は１次元の信号波形を用いてダイナミックレンジ圧縮の3

Ｉ =（Ｌ /Ｌ）・Ｉプロセスを簡単に示した図である。aの画像Ｉの真の照明光成分はeの上段に示すようにエッジは保存されて他が成立する。図に示すとFig.３となる。Fig.３(a)は式2は平滑化されたものだが、Ｉを単純なLPFに通すとbの上を表し，bは式3を表している。bにしたがえば，反射段のようにエッジの劣化した照明光成分Ｌが抽出され率成分Ｄを求めることなくダイナミックレンジ圧縮が可る。このときＬとＩから反射率成分Ｄを求めるとbの下能である。

段のようになりエッジ付近で異常を示す。Ｌを圧縮してＬ を作りc，Dとの積を求めるとダイナミックレンジ圧

３．２

照明光成分抽出

縮された画像Ｉ となるが，dに示すようにハロー効果が３．２．１ ハロー効果発生する。

画像から照明光成分と反射率成分を正確に分離するのしたがって，ハロー効果の発生を抑圧するには，照明は困難だが，通常ダイナミックレンジ圧縮では周波数で光成分の抽出に，できるだけエッジ情報を残すような分離することが多い。照明光成分は緩やかに変化していLPF，すなわちエッジ保存型LPFが必要となる。

る場合が多く反射率成分に比べて低周波であるとして，ローパスフィルタ（以下，LPF）で照明光成分を抽出する。
このとき，LPFのサイズが小さいと，たとえば２次元デジタルフィルタで３×３や５×５のサイズでは，抽出した照明光成分に反射率成分が残留し，照明光成分を圧縮する際に反射率成分も圧縮されて，コントラストが低下する。したがって，かなり大きなサイズのLPFが必要となる。ガウシアンLPFの半径で適当な値は，80画素 ３）
や，画像サイズ（横または縦）の２%５）が最適との報告もある。VGA横640画素の２%とすると13画素となり，半径の２倍までのガウシアンLPFとしても２次元デジタルフィ
ルタでのサイズは50×50と大きなものとなる。

Fig.5 Dynamic range compression (halo effect)

３．２．２

エッジ保存型LPF

エッジ保存型LPFとしてbilateralフィルタを照明光成分抽出に適用したものが報告されている５）。bilateralフィル
タは，空間方向のガウシアンLPFと画素値方向のガウシアンLPFを組み合わせ着目画素と画素値の差の大きな画素の重み付けが小さくなるようなフィルタであるが，照明光成分抽出に適用する場合，前項で述べたようにLPFのサイズが大きいため非常に計算量が多く処理時間がかかる。
そこでわれわれは，LPFとダウンサンプリングを繰り返して多重解像度化し，エッジを上層の高解像度側に置換えながらアップサンプリングする方法でエッジ保存型LPFを構成した。多重解像度化することで，比較的小さいサイズのLPFで大きなぼけを得ることが可能であり，計算量は後述のように少なくてすむ。Fig.６に構成を示す。こFig.4 Halo-effect artifactの構成をここでは仮に階層LPF（hierarchical LPF）と呼大きなサイズのガウシアンLPFなどの単純に重み付け平均するLPFでは，照明光成分が急激に変化するような84ぶことにする。
入力は線形/対数特性の画像を対数特性に変換したlogI

KONICA MINOLTA TECHNOLOGY REPORT VOL.4（2007）

である。対数とすることで反射率成分が輝度レベル（照明成分）に依存しなくなり，LPFでの抑圧効果が大きくなる。LPFは７×７の２次元デジタルフィルタとした。LPF
後1/2のダウンサンプリングを行うことで第１階層の画像を得る。第１階層の画像にLPF，ダウンサンプリングで第２階層の画像を得る。これを繰り返しぼけの大きな画像を得る。たとえば第４階層の画像は縦横1/8に縮小された画像に７×７のLPFを通したものだから元画像に56×56のLPFを通した画像に匹敵するぼけが得られる。実際には途中の階層でもLPFを通っているのでぼけはもっと大きい。
計算量は，画素数mとすると56×56のLPF は3136m回の乗算が必要なのに対し，階層L P F では4 / 3 ×７×７×m =65.34m回未満で済む。
下層の画像をアップサンプリングした画像 JL からエッジ検出フィルタを通し画素ごとにエッジ強度ｅを算出する。エッジ検出フィルタは３×３のprewittフィルタとし

Fig. 7 Compression curve of illumination

た。このエッジ強度ｅによりJLとひとつ上層の画像JHの混合比ｋを制御して新たな画像JL を式4で合成する。

特性を決めると，照明光成分も含めて主被写体を忠実に再現できるので，線形/対数型イメージセンサーの特徴を

4・JL + k・JH
JL =（1−k）

ただし，k=0.0（ e≦e1），k=f（e）(e1<e<e2），k=1.0（ e2≦e）

損なわずにダイナミックレンジ圧縮を実現できる。具体的にはFig.７に示すように，圧縮開始点Ｓを線形特性領域内で適正露光レベルより上に設定し，Ｓ以下のレベルはe1,e2は混合を制御する閾値で，ｆは単調増加関数であ元画像をそのまま出力するようにする。圧縮終了点Ｐる。この合成によりエッジ部は元の情報をより多く含んは，照明光成分Ｌの最大値Lmaxのとき圧縮照明光成分Ｌでいる画像JHの比率が高くなる。これを元画像のサイズまの最大値Lmax となる点である。圧縮特性は，画像でよで繰り返すことでエッジ保存されたぼけ画像logL，すなく用いられるガンマ特性（べき乗関数）として式5とな

わち照明光成分が得られる。

（ｓ，ｓ），Ｐ（Lmax，Lmax ）として，る。L−L 座標でＳ

Log (I)

Log (L)

Ｌ =Ｌ （Ｌ≦ｓ）
r

Ｌ =ｑ・L（Ｌ＞ｓ）

5

ただし，
ｒ= log（ｓ/Lmax ）/log（ｓ/Lmax），
ｑ= s1−ｒ
式5でLからL を求め，式3に適用すれば，高コントラストのダイナミックレンジ圧縮画像が得られる。
３．４

処理結果

デジタルカメラで撮影した露光時間の異なる２枚の画
Table 1 Specifications of contrast improvement
processing
Fig.6 Illumination extraction by hierarchical LPF

３．３

圧縮特性

得られた照明光成分logLを線形変換した照明光成分Ｌに対してダイナミックレンジ圧縮を施し，圧縮された照明光成分L を得る。
第２．２節で述べたように，適正露光レベル（主被写体）が線形特性領域になるよう露光制御している場合，線形特性領域をできるだけ圧縮しないよう考慮して圧縮

KONICA MINOLTA TECHNOLOGY REPORT VOL.4（2007）85

Fig.8 Images obtained through contrast improvement processing. Input images are linear/log images converted from linear highdynamic range images synthesized from short- and long-exposure time images. Top: short- and long-exposure time images.
Middle: images from conventional image data processing of input images. Bottom: images from our contrast improvement

像から，12ビットの線形/対数特性の画像を合成し，処理部分のコントラストが改善しているのがわかる。両画像した。処理のパラメータをTable １，処理画像をFig.８にともハローはほとんど認められず良好な画像再現をして示す。

いる。本文末尾のF i g . 1 0 には，試作した線形/ 対数型

Fig.８上段は，露光時間の異なる２枚の合成前の画像でCMOSイメージセンサーで撮影した画像を示す。合成しある。Fig.８の中段は，合成した線形/対数特性の入力画た画像と同じように明るい部分が高コントラスト化され像をダイナミックレンジ圧縮せず通常処理した画像（以ており，実センサー画像に対する処理の効果も確認でき下，線形/対数画像）であり，下段は同じ入力画像を今回た。（背景に縦筋等のノイズが見えるが，センサーが試作の開発技術でダイナミックレンジ圧縮を施し高コントラ品のためである。）スト化処理した画像（以下，高コントラスト化画像）である。左の画像は，デジタルカメラやビデオカメラを想定した逆光シーンである。マネキン（主被写体）は，線形/対数画像と高コントラスト化画像ともほぼ適正露光レ

４ 高画質対応
４．１

擬似エッジと微小ハロー

ベルで再現されているが，建物の壁（背景）は線形/対数以上の処理で，ほぼ良好な高コントラスト化処理がで画像では非常に低コントラストなのに対し高コントラスきた。しかし，シーンによっては，画像を拡大するとト化画像では鮮明に再現されているのがわかる。また，エッジ部に微小な不具合が確認される場合がある。ほと右の画像は車載用でのトンネルの出口や監視用での屋内んどの場合許容可能だが，一眼レフ等さらに高画質を要屋外同時監視を想定したシーンであり，暗い廊下から明求される場合は問題となる可能性がある。

るい屋外を撮影したものである。左と同じように明るい86

不具合は，棒状の物体のエッジの乱れ（擬似エッジと

KONICA MINOLTA TECHNOLOGY REPORT VOL.4（2007）よぶ）とステップ状の物体のエッジに発生する微小ハローである。これらの出方は，階層LPFにおけるエッジの５ まとめ混合を制御する閾値パラメータe1,e2を変えると変化する。

線形/対数型イメージセンサーに対応した高コントラス

Fig.９(a)(b)にe1,e2を変えたときの擬似エッジと微小ハト化画像処理について紹介した。センサーとセットでローを示す。

様々な用途に応用できると考える。今後は，さらなる高擬似エッジと微小ハローはパラメータe1,e2に関して相画質化と，ハードウェア実装による動画対応を検討して反しており，e1,e2を小さくすると擬似エッジが発生しやいきたい。なお，階層LPFは線形/対数特性を前提にしたすく，逆に大きくすると微小ハローが発生しやすくなものではないので，様々な広ダイナミックレンジ画像にる。Table １のe1,e2の値はどちらも発生しにくい値に設定適用が可能であることを付け加えておく。

しているが，シーンによっては発生する可能性がある。

最後に，論文調査，トレース等で多大な協力をいただ

その場合，e1,e2を変更すると減少するが，場合によってきましたシステム技術研究所イメージシステム開発室のは，他の場所に逆の現象が発生する可能性がある。この高清さん，ならびに御助言・御支援いただきました方々

場合，パラメータe1,e2の変更だけでは対応できない。に深く感謝いたします。

４．２

補正方法

前節で述べた課題に対応するための補正方法を紹介する。
前節で述べたように擬似エッジと微小ハローはお互いに相反しており，パラメータe1, e2でどちらかを抑えようとするともう一方が目立つようになる。そこで，e1, e2を変えて，微小ハローを抑制した画像と擬似エッジを抑制した画像を作成し，擬似エッジ抑制画像のハロー発生部を微小ハロー抑制画像で補正することで対応する。微小ハローは，輝度差の大きなステップ上の物体のエッジに発生するので，擬似エッジ抑制画像（ハローあり）のエッジを検出しハロー発生部とし，この部分をハロー抑制画像に置き換える。注意点は，このハロー発生部のエッジを検出するときに棒状の物体に発生する擬似エッジ部を検出しないようにすることである。縦横1/20程度の単純平均で縮小後エッジ検出すると，棒状の物体は平均化されてほとんどなくなり，輝度差の大きいステップ上の物体のエッジだけを検出することができる。
補正結果をFig.９(c)に示す。擬似エッジ，微小ハローともに改善されているのがわかる。

Fig.10 Images from our contrast improvement processing; input
image is taken with test sample of linear/log CMOS
image sensor. Top: image from conventional image dataprocessing. Bottom: image from our contrast improvement processing●参考文献
１）角本兼一，矢野壯，楠田将之，掃部幸一，田中良弘，KONICAMINOLTA Tech. Rep., Vol. 1，45（ 2004）
２）E.H.Land, J.J.McCann, "Lightness and retinex theory", Journalof the Optical Society of America, 61（1）,1（ 1971）
３）D.J.Jobson, G.A.Woodell, "Properties of a Center/Surround
Retinex: Part 2. Surround Design", NASA Technical Memorandum, 110188,（1995）abc４）Z.Rahman, D.J.Jobson, G.A.Woodell, "A Multiscale Retinex forColor Rendition and Dynamic Range Compression", SPIE Inter-Fig.9 Artificial edges and small halo artifact: (a) artificial edges(e1 = 8, e2 = 328); (b) small halo artifact (e1 = 66, e2 =2620); (c) after correction

national Symposium on Optical Science, Engineering and Instrumentation, Applications of Digital Image Processing XIX,
Proceedings SPIE 2825, Andrew G. Tescher, ed.（1996）
５）Fredo Durand，Julie Dorsey, "Fast Bilateral Filtering for the
Display of High-Dynamic-Range Images", SIGGRAPH（2002）

KONICA MINOLTA TECHNOLOGY REPORT VOL.4（2007）87